Pues solo se me ocurre que tu chip de sonido Realtek ALC887, no acepte el dtshd-ma, y lo envíe en estereo...parece que es común.
Otra interpretación que hago es que Dolby, si permita pasar su TrueHD por spidf bajandolo a Dolby digital y DTS, no permita eso.
Te paso algun enlace que hablan sobre eso......
https://www.forodvd.com/tema/140699-...r-que-lo-haga/
Que en tu caso, volviendo a la foto de configuración, cambiarias Directsound por Wassapi
Y probar el XBMC, acaba de salir la version 14.0, ahora se llama Kodi. Es mucho mas completo que el MPC-HC, yo lo voy a instalar, y ademas trae sus propios codecs para funcionar, si ahi no puedes configurarlo, es que seguramente no se pueda hacer.
Saludos