Por lo que dice, es que está mal conectado.

De la salida RCA del ampli que pone PRE-OUT o Sub o Subwoofer, sacas un solo cable RCA y lo conectas a la clavija blanca marcada como L (LINE IN). Olvida las conexiones Y, ya que según el Toerema de Kirchoff la suma algebraica de las intensidades que entran en un nudo es cero, luego poniendo una Y lo único que se hace es el tonto. Lo importante es que el cable del sub no coja ruidos y para eso , nada más barato que cable de micrófono hecho por uno mismo que, si es estéreo, además puedes poner en conexión semibalanceada ( o uno sub específico ya comprado, obviamente)

Las conexiones de arriba es para señales de altavoz, no de línea, y sirven para que filtre el SUB, no el ampli, las señales de graves y mande el resto a los altavoces, a fin de que el sub se comporte como una vía más delas cajas, que no es el caso que nos ocupa, pero sí puede ser una opción, en según qué casos.

Respecto a los ajustes, prueba con lo que te ha dicho Hueso, pero yo soy más partidario de colocar el corte del sub entre 8 y 20 Hz por encima del corte indicado por el ampli, no a tope y así te aseguras de un corte claro en donde quieres, que no todos los amplis cortan igual, pero bueno, no hay unanimidad en eso.

Respecto a la fase, como te ha dicho Hueso : prueba con 0º y 180º . Lo más normal es que en el primer caso te vaya bien, pero nunca se sabe y hay que poner donde los graves suenen más y mejor . Esto dependerá de la ubicación del sub y de la sala para evitar las cancelaciones de fase.

Saludos.