Pues ya no se que mas te puedo aconsejar, a mi el buffer de 125 MB me tarda unos 5 o 6 segundos en llenarse, si no lo hubieras probado con USB te diría que es problema de rendimiento de red, pero si en USB 3.0 te pasa lo mismo..... Ya no se que mas decir.

P.D. Tienes equipo 5.1? y tienes el multicanal activado en la TV? Haz una prueba aunque te parezca una tontería, yo obtuve mejor rendimiento de esta manera, pon la salida de la TV en estero y vuelve a probar con SPMC a ver que tal.