Deberías poder sacar señal 5.1 por óptico, seguro que es alguna opción del menú de la tv.

Sobre lo otro... solamente se me ocurre que la resolución que saca el apple tv al reproducir los contenidos sea distinta a los menús y que el denon no la soporte.
Creo que tienes menú en pantalla con el denon, intenta mirar si te da info sobre la señal hdmi