Hola, a ver, primero deberías cercionarte que en Windows está todo bien, mirando en "dispositivos de reproducción", (click con el derecho del ratón sobre el altavoz del sistema) y en las propiedades del HDMI donde está el AVR debe aparecer en formatos soportados los formatos HD de audio.

Si eso está bien, debes comprobar en los reproductores que tienes activado el Bitstreaming o Passthrough para esos formatos, que lo que hace es sacar el audio bit a bit sin descomprimir ni tocar nada directamente al AVR por el HDMI.

Mi recomendación es que pruebes con MPC-HC que es mucho más flexible y fiable que esos programas, es muy fácil de instalar y configurar, y luego para activar la salida bitstreaming de audio hd lo haces de forma sencilla en la configuración del filtro LAV de audio y así te aseguras que funciona el bitstreaming de audio HD.