Comprueba en los ajustes de sonido de la PS3 que tienes activada la función multisonido, y que has seleccionado los formatos de audio Dolby, DTS y PCM 2 canales en la salida óptica

Los altavoces han de conectarse a las salidas para altavoces de tu ONKYO, por RCA no sé cómo lo habrás hecho pero esas conexiones RCA del AVR no son la salida de altavoces.