La ventaja de la conexión HDMI desde la PS3 al AVR es que podrá enviar los sonidos HD de un BR (PCM multicanal, Dolby True-HD y DTS-MA, que ya descodifica), en formato PCM multicanal. Este no puede viajar por óptico.

El video de la PS3 llegaría hasta el TV desde el AVR, aunque según dices hay algún problema con la aceptación de la señal escalada. ¿Qué TV tienes?, ¿sucede con la conexión actual directa de HDMI desde la PS3 al TV?.

Por otro lado la conexión óptica de salida de audio del TV al AVR es la correcta, por ella te llegará el audio que sintonice el TDT del TV. Lo que no llega, hasta lo que se, es la señal de audio digital que entre al TV desde una conexión HDMI, por ello no te valdría el plan de PS3--HDMI-->TV---Coaxial-->AVR.

No conseguirías que por ejemplo el Dolby 5.1 de una película leida por la PS3 llegara como tal al AVR, con mucho te llegarían solo dos canales, posiblemente PCM.