Al final resultó que debía ser un problema del puerto del router. Quité todos los cables y me fue perfectamente por WiFi, y probé a conectar la ps4 en el puerto 1 y ya va. Ya no se producen esos picos de velocidad que llegaban a 0 kbps