Hola,

yo tenía ese problema con VLC, no salía el audio 5.1 por SPDIF a mi DSP Marantz. Al final se solucionó con una opción de configuración en VLC:

Ir a Herramientas > Preferencias > Audio y habilitar la opción "Audio a través de HDMI/SPDIF"

Con esto ya tengo el 5.1.

Espero haberte ayudado