Problema solucionado. Tuve que desinstalar un programa llamado AviRecomp, que de alguna manera interfería con el VirtualDubMod y le hacía funcionar mal.