Hola.
Por partes. A ver si entre todos te podemos echar una mano. Mi primer equipo fué un Denon 1603 con un sistema de altavoces de la misma marca y la verdad es que no estaba mal. Sirvió para que cogiera afición y fuera poco a poco mejorando hasta la fecha.
Que tengan cada uno de los canales la posibilidad de -12 o +12 es lo normal. De esta manera cuando ajustas el sistema puedes modificar individualmente los canales para que todos tengan el mismo volumen.
Por otra parte el color del que sea cada cable da igual. Lo que importa es que del negro del ampli llegue al negro del altavoz. Da igual que en una caja hayas elegido un color u otro. Esto es muy importante porque define la polaridad de los altavoces. Confirma que están todos bien conectados porque eso si que haría que perdieras el foco y parte del volumen.
El sub. Imagino que en el receptor habrás definido el tamaños de los altavoces y que el corte de frecuencia (crossover) esté a unos 80db.
La salida LFE va directamente al sub y ahí tendrás que controlar el volumen con el la rueda correspondiente. Si ya está configurado en el receptor puedes dejar la rueda de frecuencia al tope, porque le llegará todo lo que tenga mas de 80hz. Si es de 35 watios eso es lo que dará. Esos 100w de potencia "admisible" supongo que será el pico que aguanta (antes de petar).
Si la conexión que tienes es por optico y todo está bien configurado no tendría que tener ningún problema.
Has comprobado la fuente? A ver si vas a tener la salida de audio mal configurada.
Saludos