Ok, por salida óptica tienes varias formas de configurarlo dependiendo de si quieres 2 canales o más (supongo que quieres aprovechar el 5.1 )

Mirate la página 49 del manual donde vienen las distintas opciones, lo ideal es que configures la salida del reproductor como bitstream para que el receptor reciba el audio sin procesar, ya que tu Denon descodifica tanto DD como DTS: http://assets.denon.com/documentmaster/us/avr1706.pdf

No lo pongas en PCM porque de esta manera sólo obtendrás audio en 2 canales. Para recibir el audio en multicanal por PCM hace falta un receptor con HDMI. Las opciones con recodificación están pensadas para receptores que sólo aceptan Dolby Digital o DTS, es decir, el reproductor convertirá el audio al formato que acepte el receptor en cuestión.

Un saludo y nos cuentas.