A ver, en auto SI dice lo que es, lo pone en el led en cuanto empieza a recibirlo, en esa película sabes que debería ser Dolby Digital. El Yamaha lo dejas en auto y te aseguras de que no tienes puesto ningún DSP (el de películas viejas en mono en particular, que creo que lo tiene, y si no lo tiene pues me crucificáis). Personalmente creo que el problema lo tienes en el lector.
Asegúrate de que el 575 no está decodificando él la señal, de que la está mandando por el coaxial, de que en el menú initial settings->digital audio out tienes las opciones por defecto, digital out=on, dolby digital out=dolby digital, etc.
No se me ocurre nada más, si dices que las conexiones están bien hechas. Suerte.