Los formatos de compresión multicanal Dolby y DTS (en sus nivel con pérdida o sin pérdida, el DTS-HD MA y el Dolby TrueHD) proceden de pistas multicanal PCM (formato de grabación habitual digital). Para reproducir Dolby o DTS primero se descodifican a PCM y luego este se pasa a señal analógica amplificable.

Bien, este proceso lo puede hacer la fuente si se selecciona salida digital PCM, o el AVR, si se selecciona en la fuente salida bitstream (señal sin descodificar), y esto es lo que te está pasando: has de configurar las salidas digitales de la PS3, el DVD y el HDMultimedia en forma bitstream (también llamada Raw, Direct, Passthrough, según fabricantes).

Para más inri las conexiones spdif (coaxial u óptica) solo permiten el paso de señal PCM estéreo por lo que a tu AVR no le está llegando 5.1 canales desde el DVD ni el HD, por lo que probablemente estés utilizando el Dolby Prologic para poder 5.1 en esos casos.

Ya contarás