Pues quien te dijo eso no tiene ni pajolera idea. Es más fácil dañar un altavoz por conectarlo a un amplificador de potencia insuficiente al que se le exija más potencia de la que es capaz de entregar, que por conectarlo a un amplificador de potencia sobrada.

Pero vamos, que no te rayes ni un minuto con ese tema. Quizás si te estuvieras planteando poner unos altavoces de columna de baja sensibilidad con un AVR de gama baja, podrías tener problemas de potencia, pero esas combinaciones que te planteas son perfectamente válidas.

Saludos.