Buenos días, aquí tienes una explicación sobre esa distorsión que comentas.
https://www.forodvd.com/tema/111659-...ml#post1953636
Si con tu configuración puede ser, no tengo idea, para salir de dudas lo adecuado sería medir la salida del amplificador, con un osciloscopio se vería claramente si hay "clipping" y en caso afirmativo pues sí, se pueden quemar los auriculares aunque la potencia real entregada por ese amplificador no llegue al límite admisible de tus auriculares.
Aunque como indicas, en auriculares es extraño, salvo que realmente escuches a SPL elevados, a veces común en auriculares aunque no nos demos cuenta (y peligroso para nuestra salud).
Saludos.