Creo que estas enviando la señal de salida en formato PCM (estéreo) y no en formato bitstream, y este es el que llevaría el Dolby o el DTS (5.1) hasta tu AVR.

La salida óptica no admite nada más que esos formatos que te nombro antes, no los nuevos formatos HD.

Para poder enviar el sonido HD (PCM multicanal, DTS-MA o Dolby TrueHD) necesitas una conexión HDMI, cosa que no dispone tu tarjeta ni tu AVR.

La otra manera con la que si podrías escuchar esos sonidos por medio de tu AVR es conseguir que se descodifiquen a analógico multicanal (5.1) y conectar el HTPC por las salidas de altavoces a las entradas analógicas multicanal del AVR. Pero creo que el PowerDVD8 solo lee esos formatos pero no los decodifica a analógico.

Con un DVD normal elige sonido Dolby y comprueba si en la pantalla del AVR aparece el logo, si no lo hace es que no envía el formato como tal, lo descodica el ordenador y eso no te interesa. Comprueba el tema de la salida spdif, que esté en bitstream o raw.