Pues no sé qué más puedes hacer. Prueba a poner en propiedades de sonido del Yamaha en 5.1 (fuera Atmos), asegúrate que esté como predeterminado. Yo uso Windows 10 y el procedimiento es el que he indicado, ASIO4ALL alguna vez se desconfigura pero generalmente mantiene los últimos ajustes que le pongo.

Por RCA no hay entrada en el AVR para el sub, seguramente dejará medir la respuesta combinada por ejemplo canal izquierdo + sub si tienes los frontales como pequeños (el AVR aplicará el Bass-management con el corte que le pongas).