Pruebalo tu mismo y veras que si que hay diferencia entre tenerlos tapados y no. Al fin y al cabo es un elemento mas entre la fuente de sonido y tus oidos.

Yo lo que siempre hago es destaparlos durante su uso y vovler a taparlos cuando los apago. Como bien dices, conservan mucho mejor sus delicados drivers.