Hola
Creo que para que obtengas más precisas de los entendidos de esta sección, no vendría más que expusieras cuál es tu AVR. No todos funcionan igual; unos se limitan a ser "hub" que redireccionan entradas/salidas HDMI, y otros cumplen funciones adicionales (p.ej., escalado de señal).
Respecto al problema de tener el AVR encendido en la configuración que comentas, existen "hub's" o redireccionadores en el mercado que evitarían tener que utilizar el AVR simplemente para redireccionar fuentes.
Saludos