Por coaxial u óptico solo puede enviarse DTS, Dolby y PCM estéreo. No puede salir PCM multicanal, por tanto lo que ponía el display del lector se referiría a la pista seleccionada.

Si la salida coaxial la configurastes como PCM, solo te llegó en estéreo al AVR, y si lo oistes en 5.1 se tuvo que activar el Dolby Prologic o el DTS ex, para simular un 5.1 desde una señal estéreo; esto lo debes ver en la pantalla del AVR, que muestra si la entrada es PCM, Dolby o DTS y si se ha activado el Prologic en el primer caso.

Por lo anterior, cuando uses la salida coaxial u óptica de cualquier lector, configurala en bitstream, así enviarás el Dolby y el DTS sin descodificar al AVR, y si seleccionas una pista Dolby TrueHD o DTS MA, saldrá un Dolby o un DTS de calidad máxima (bitrate de 640 kbps y 1.5 Mbps respectivamente, bastante más que los 448 y 768 Kbps en la versiones habituales no SD de esos formatos).

Por contra, en tu caso que el AVR no descodifica sonido HD salvo PCM multicanal, la salida HDMI hay que ponerla en PCM para que descodifique el lector, así se consigue bitrates de Dolby y DTS de 3 a 5 Mbps. Otro tema es que los altavoces y nuestros oidos lleguen a reproducir y percibir esa mejora, como sabes es difícil distinguir MP3 de alto bitrate de la versión original en PCM estéreo (en lo que están grabado los CD), de mucho mayor bitrate.

Saludos, espero que consigas que funcione a través del AVR por HDMI. Prueba a intercambiar los cables HDMI, por si fuesen la causa.