Tomando de referencia mi av yamaha cuando lo pongo en 5.1 se quedan los laterales de efectos activados y los traseros desactivados lo cual creo que es lo normal en todos.
Imagino que por la mala colocación de los altavoces de efectos te sonara tan raro, estos los tendrías que poner en linea de los oidos o hasta un angulo de 10 grados por detras y a una altura aprox. de 160.
Para hacer lo que quieres solo se me ocurre que dejes puesto con un 5.1 dejando para efectos los que mejor te creas.
De todas formas no entiendo por que no lo usas en 7.1 con el modo prologic LIIx o NEO 6 Cinema del av con lo que deberías notar creo que mejores efectos.
Hasta hace poco he estado usando un denon 1906, modelo inferior al tuyo, e iba muy bien con estos modos mencionados para cine.
Si solo quieres usar un 5.1 para cine y conservar los otros altavoces conectados para música estéreo en 7.1 puedes probar a cambiar las conexiones en los de efectos laterales y traseros.
Dejas conectados los 5.1 para cine, pasas la equalizacion automática del denon y luego conectas la otra pareja.
Si haces esto ultimo recuerda que si usas para cine o juegos el 7.1 te saldrán cambiados los efectos.