Si te aparecen la imagen de dos altavoces es que le llega sonido estéreo, y si la entrada es por cable óptico y la pista es 5.1, entonces se debe a que esa pista se está descodificando por la PS3 a PCM 5.1 y por óptico solo puede enviar PCM estéreo.

Para solucionarlo, entra en la configuración de la PS3, en Ajustes de Video>Formato de Salida BD Óptico>Selecciona Bitstream

De esta manera, en bitstream, el formato de audio (Dolby o DTS 5.1) pasa sin descodificar por el cable óptico hasta tu Yamaha, este lo reconocerá y lo descodificará en 5.1 (mostrando los iconos de todos los altavoces). Asegurate también que tienes marcados como formatos reconocidos por la PS3 todos los que empiezan por Dolby y DTS, en ajustes de salida de audio.

En cuanto a la señal que le llega desde la tele, esta será habitualmente en mono o estéreo, pudiendo en este caso utilizar el modo Dolby Prologic o DTS:Neo para simular un 5.1. Si la tele sintonizara algún canal que emitiera en 5.1 (Dolby ES) tu AVR lo reconocería, encendería los iconos de los 5 altavoces, y oirías ese 5.1 original.

Lo que no podrás oir es 5.1 a través de la salida óptica de la tele de un audio 5.1 procedente de la PS3 conectada por HDMI al TV, este los transforma en PCM estéreo y así aparecen por la salida óptica.

Ya contarás.