No tengo la PS3, pero te diría que primero verificases en configuración que que el audio output es por LPCM y no bitstream. En el onkyo supongo que no es necesario seleccionar nada ya que automáticamente te reconoce el tipo de señal de entrada, si acaso seleccionar el modo Pure/Direct.

La decodificación de los formatos de audio HD es exactamente la misma en una PS3 que en cualquier otro receptor que lo soporte. No hay mejor calidad o peor calidad; el pcm que saca el receptor si le envias por bitstream es el mismo idéntico que va a sacar la PS3. Las diferencias en cuanto a calidad del sonido, está más bien en el procesador (DSP) y conversor de digital a analógico (DAC) del receptor.