Hola yuni,
Seguro que hay compañeros en el foro como OrtoPiroMeta que te puedan ayudar en esto más que yo, pues en cuanto al tema de HTPCs te puedo hablar de sistema Windows y Linux, pero nunca he usado OSX como HTPC.
Sin embargo, por lo que tengo entendido estos problemas que te ocurren son normales, pues el sistema operativo de Apple no se lleva bien con estos formatos de audio o al menos no los pasa bien por passthrought.
En el peor de los casos, si te instalases windows con bootcamp (no virtualizado) aprovecharías mejor el hardware de tu Mac Mini y posiblemente sí que te funcionaría.
Saludos