A ver, lo primero es que teniendo HDMI en una placa moderna y un AVR moderno, la salida óptica como si no existiera, el audio lo sacaremos por HDMI y dado que el objetivo es que el propio AVR sea el que descodifique el audio, poner una tarjeta de sonido de 50 o 200€ no va a mejorar en absoluto la calidad de sonido, tan solo ecualizarlo por ejemplo.

De hecho si el HTPC descodifica por software los formatos DolbyDigital, DTS, TrueHD y DTS-MA y los envía por LPCM a través del HDMI tampoco tendrás ninguna pérdida de calidad, porque así solo se descodifica, que es como sacarlo del empaquetado que lleva y ponerlo en un formato de audio "universal" que es PCM, esto no genera ninguna pérdida ni hay ningún tipo de reconversión.

Ahora volviendo al tema, lo que deseamos hacer es enviar el audio sin descodificar por el HDMI, esto se llama "Bitstreaming" porque se envían los bits tal cual están en el archivo al AVR para que este los descodifique, solo HDMI soporta formatos de audio HD, por óptico no los puedes enviar, así que es importante enviar el audio por HDMI. Para hacer esto, primero en windows, como dispositivos de reproducción tienes que poner como predeterminado el audio HDMI, será algo así:



Solo que en vez de realtek te aparecerá algo de Intel seguramente, esa es la que tienes que poner como dispositivo predefinido de audio, a no ser claro, que luego lo configures en cada programa si el programa tiene la opción específica de reproducirse a través del dispositivo que elijas.

Luego normalmente todos los programas tienen la opción de "Bitstreaming", en algunos se llama "Pass-Throught" o "mediante", para sacar el audio sin descodificar, en VLC:



Aunque mi recomendación es usar un mejor reproductor: MPC-HC

Home – MPC-HC

Es mucho más configurable y filtros de mayor calidad con mayor calidad de imagen. Aquí para configurar la salida sería aquí, en Filtros->LAV Audio Decoder:



Habría que activar todas las opciones del primer recuadro para obtener el bitstreaming de los formatos de sonido que descodifica el AVR.

Por cierto ¿qué AVR tienes?