Si en el TV eliges automático cuando sintonices un canal que emita en Dolby 5.1 esto será lo que llegue al AVR, sino solo llegará PCM estéreo. En este caso la opción de sonido en AVR para conseguir un 5.1 simulado sería el Dolby Prologic.

Con lo anterior deberías oír bien el sistema Bose, dentro de sus características, pero si no lo oyes bien habría que pensar en un problema de conexiones y/o configuración del equipo.

Para lo anterior te puede ayudar la siguiente respuesta a tus dudas: la conexión HDMI es la que puede llevar sonido HD, y dado que transporta también la señal de vídeo es la que usaría para conectar la PS3 al AVR, pasando otro cable HDMI del AVR al TV para que le llegue la señal de vídeo procedente de la PS3. Y claro que tu Denon puede descodificar audio HD.

Por último, comprueba si tu TV lleva una conexión HDMI con ARC (canal retorno de audio), si es así al conectar el AVR a ese HDMI del TV podrá este enviar el sonido al AVR sin necesidad de ese cable óptico.

Resumiendo, si tu TV tiene HDMI con ARC, conecta la PS3 por HDMI al AVR y este por HDMI al TV y no te hace falta nada más.