Como tu Denon capta sonido del HDMI, es mejor conectar la PS3 para el sonido por el HDMI pues no solo pasará el PCM estéreo, el Dolby y DTS (igual que por el cable óptico) sino también el PCM multicanal.

Este formato multicanal de alta resolución es el que llevan muchos discos Bluray y también es al que se convierte el Dolby TrueHD por parte de la PS3, y no podrías enviarlo por la salida óptica.

Tendrás que configurara la salida HDMI en formato PCM (no te aparecerá el logo del DTS ni del Dolby en el receptor pues lo decodifica la PS3) y en el menú de audio de la PS3 activar el sonido 5.1

Saludos