Primero, debería funcionar el HDMI ARC entre la entrada HDMI-ARC del AVR con la salida HDMI-ARC de la TV quitando el cable óptico. Importante que la salida HDMI-ARC de la TV esté configurada como bitstream, no PCM.
Segundo, si te está el display cambiando entre DTS y decoder off cuando tienes conectado el bluray con el AVR,
cambia el cable HDMI.