No pierdes calidad de sonido en sí, lo que no podrás es llevar el sonido en ciertos formatos (los HD).
Es decir, por ARC vas a llevar de la TV al AVR audio 5.1 dolby, dts, etc..., pero no sus versiones HD como Dolby True HD, DTS Master Audio, etc... Para pasar audio HD, tanto tu TV como el AVR tendrían que soportar eARC, algo bastante reciente.

Yo lo tengo como tú, todo a la TV y de ahí al AVR por HDMI ARC. No tengo audio HD, pero mi AVR no soporta 4K y tengo que llevarlo todo a la TV.
También me resultaría tedioso estar cambiando de fuente de entrada en el mando del AVR. Con el mando de la tele puedo ajustar el volumen del AVR, con lo que no tengo que acudir al mando del AVR en ningún momento. Además, la TV cambia la fuente de entrada automáticamente, por lo que ni si quiera tengo que cambiar la fuente de entrada con el mando de la tele.
No digo que sea lo mejor, pero me resulta cómodo.

Eso sí, en cuanto cambie de AVR a uno con 4K (y decente), todo irá conectado a él y ganaré audio HD, que es lo segundo más importante en mi caso después del 4K, aunque tenga que estar cambiando la fuente de entrada... y explicándoselo a mi pareja, claro...