Creo que hay una confusión. Por la salida óptica o coaxial solo se puede enviar señal digital. Esta puede ser en formato multicanal comprimido (Dolby o DTS) o estéreo (Wav, Mp3 o PCM estéreo).

Cuando habláis de poner en digital entiendo que os referís a dar salida directa en el formato de codificación del sonido (el DTS como DTS y el Dolby como Dolby) que en distintos lectores puede aparecer como Raw o Bitstream también. En este caso es el AVR quien descodificaría esas señales (se verá en su pantalla el logo).

Cuando en las opciones del lector se elige PCM, será él quien descomprima el Dolby y el DTS a este formato de audio digital, pero solo podrá salir por óptico/coaxial en estéreo, solo los canales estéreo del 5.1 si no se elige que haga dowmix, donde se reparten el resto de canales entre los dos estéreo.

Es posible que exista alguna diferencia en la señal de salida de un tipo de formato u otro, que pudiera ser detectable, pero probablemente no sea tanta salvo que al Dolby le tengamos puesto alguna compresión de la dinámica para evitar molestia a los vecinos en la noche.