Hola Davi perdido,

Si no me equivoco lo que quieres hacer es llevar la señal DTS/Dolby directamente al AV para que sea éste el que descodifique el sonido, no? Esto se conoce como passtrhrought y es algo que debe soportar el propio programa y por supuesto, debe ser activado.

Puesto que suelo usar Kodi para reproducir tengo que decirte que no te puedo decir exactamente como activar el passthrought en VLC, pero ha de ser manipulando las opciones de audio, quizás este video te ayude:



Saludos