Creo recordar que el VideoLan no soporta aceleración de video por hardware, por tanto no estás aprovechando la tarjeta para decodificar MKV.

Instala el MPC-HC (Media player classic, puedes buscar en google), que ese programa sí usa decodificación por hardware y la inmensa mayoría te los reproducirá perfectamente. Habrá algunos viejos mkv que no soporten decodificación por hardware, pero todo lo nuevo sin problemas