Lo que te pasa parece "tearing", es una línea horizontal que recorre la pantalla de arriba a abajo cada cierto tiempo. Busca en google esa palabra, te saldrá un monton de informacion.

En cuanto a VGA, en principio permite resoluciones superiores a full HD, pero los TV suelen venir "capados" para no admitir hada por encima de resolución HD Ready (el **** HDCP).

Saludos.