Según tengo yo entendido, el que un altavoz tenga menos impedancia que el amplificador significa que a éste le va a costar más aguantar los requerimientos que pide el altavoz.

No te voy a hacer los cálculos porque seguramente mi explicación te liaría más. Pero creo que la idea básica es que es el amplificador el que sufrirá, y más cuanto más subas el volumen.