Pues no se si ese ruido en vacío, o sin señal, de los altavoces Bose es un problema que surja de la fuente (la señal de audio que envía el TV), el AVR o el propio sistema Bose. Por ir descartando:

Asegúrate que el cable óptico está bien conectado, bien apretado en ambos lados.

Si desconectas el cable óptico del TV, estando seleccionado el Dolby Prologic en el AVR, ¿cesa el ruido de esos altavoces?, por cierto, ¿son los surround solo?.

Prueba a conectar ese mismo cable óptico a la salida de la PS3 y reproduces en ella un CD, ¿al elegir Dolby Prologic siguen apareciendo esos ruidos?. Si fuera así descartaríamos un problema de sonido procedente del TV.

Para que el ARC envíe sonido igual has de desconectar los altavoces del TV mediante el menú Configuración de Sonido --> Altavoces Televisor --> Desconectar.

En cuanto al envío del sonido al TV a través de la salida HDMI del AVR, creo que si es posible en caso de interesarte, tendrías que verlo en el manual del AVR, en las opciones del control HDMI o así.