Esto es lo que comentaba ocurre: quitas toda la señal de bajo nivel y suena como "entrecortado". No hay manera de quitar solo ruido, porque el patrón es aleatorio.
En Adobe audition hay una buena herramienta para ello en la que lo puedes hacer de varias maneras y configurable: incluso en la que quitas solo el dB más débil de ruido y acotado en graves, si escuchas con atención ya recorta información (se nota muy poco, pero sigue restando parte de lo grabado). Así que no hay nada que hacer.
Un saludete