Necesitarías un solo conmutador. Del AV sacarías los cables de altavoz de los frontales y los conectarías a la entrada del conmutador, y de las dos salidas de éste, una a los altavoces frontales del conjunto 5.1 y otra a los estéreo de la TV.
Te sugiero que cuando veas la TV, selecciones el DSP "Estéreo" en el AV, por si alguna vez emiten algo en 5.1, que te lo convierta a estéreo y no pierdas el sonido de los canales adicionales.
Saludos