No sé para qué quieres mandar la señal del tv al AVR para que luego vuelva al mismo... De todas maneras, lo que estás conectando (monitor out), como mucho, será la salida de las entradas analógicas de vídeo del AVR.

En cuanto al sonido, revisa que la función "tv" del receptor capta el audio de la entrada óptica (es posible que esté asignada por defecto a otra)