Este tipo de preguntas muy poca gente sabe responder ya que los elementos que disponemos en casa unos y otros son muy diferentes.

Habría que ver si realmente ese archivo mkv tiene contenido de audio en el formato que indicas, una cosa es que el menú lo muestre y otra que los archivos se encuentren. Si es que si, pero no se señaliza así en el display del AVR quizás sea la decodificación que no sea posible por el reproductor.

Solución, probar ese mismo archivo en otro equipo y ver u oir mejor

Sobre si hdmi arc o óptico ..? Tanto da, por ambos viajan unos y ceros en digital con lo que la calidad es la misma. Yo usaria hdmi arc y te ahorras un cable.