Eso supongo que es porque no están activados los VSync:
Activa tanto "vSync" como "vSync precisa".
Cuando lances el OSD (lo que sale al pulsar Crtl+J) espera unos segundos a que se estabilice. Ahora el valor de la cuarta linea "Refresh rate" no debería estar a 0 y "Frame rate" debería estar mas o menos estable en un valor. Para no tener problemas de dropped frames ese valor debería ser 23.976 (en MadVR es mas preciso pero con esto podría valer también).
Cada dropped frame coincidirá con un movimiento brusco de la linea verde.
Para asegurarnos, vamos a obligar a XBMC a que cambie los fps de la peli a 24.
En XBMC desactiva "Ajustar frecuencia de refresco de la pantalla al video" (para que no cambie la frecuencia a 23, queremos que esté a 24). Ciérralo y en el escritorio cambia el refresco a 24 Hz. Vuelve a abrir XBMC.
Asegúrate que la frecuencia de refresco sea 24, que el XBMC no la haya cambiado (Sistema->Hardware->Resumen):
Si la ha cambiado, cambia en la pantalla de la captura que te pongo a continuación (no hace falta que esperes a que se activen los cambios, no hace falta que se ponga en modo ventana) de pantalla completa a ventana y vuelve a pantalla completa (espera unos segundos y confirma, tienes que seguir en pantalla completa):
Con esto queremos que sincronice a la frecuencia del escritorio (24).
Si estamos a 24 Hz al reproducir una peli y mirar el OSD:
el valor de la última linea "W(fps:23.98 ..." tiene que ser 24 (es decir, tiene que poner "W(fps:24 ...", igual que el valor "S(refresh:24 ...") (siempre con el reclock interno del XBMC como te he comentado, "Video Clock (Resample audio)") y si estamos hablando de lo mismo no tendrías que tener ahora el problema que comentas. Si lo tienes estando ese valor a 24 entonces hablamos de un problema distinto y te tocaría seguir investigando (stutter, judder porque la TV esté interpolando, configuración gráfica, configuración TV, sistema, etc.).
Suerte.