Nos basamos en la siguiente página del manual:

https://kb.roonlabs.com/Audio_Setup_Basics

Supongo que la configuración que buscas es para convertir a DSD hacia el Topping D10, que no es un DAC MQA. También supongo que el DAC está conectado al Mac por USB y al AVR por RCA analógico (por supuesto).

Si Roon te da la opción de escoger el modo exclusivo, hazlo.
DSD Strategy: Si te da la opción Native, coge esta, si no DSD over PCM
MQA, como el DAC no lo soporta (No MQA Support), el "first unfold" lo hará Roon. Luego DSP "enabled" o no, depende de ti. Prueba ambas opciones.
Volumen Control: Mejor escoge Fixed y controlas el volumen desde el AVR. Si lo quieres controlar desde Roon usa DSP Volume, pero no te lo recomiendo.
Max DSD sample: Creo que el Topping te permitirá hasta DSD256. Empieza por aquí. Si no oyes cosas raras lo dejas, si no bajas a DSD128, pero creo el DSD256 te funcionará.

Lo he hecho de memoria y mirando el manual. No tengo ahora posibilidad de configurar DSD desde Roon, ya que actualmente lo mando a HQPlayer Embedded y lo gestiono desde allí. Más complicado que en Roon.

Para empezar y probar, Roon te irá de lujo. Además, recuerda que empezamos recomendando Audirvana o incluso algún compañero te recomendaba reproductores gratuitos y has acabado probando Roon y mirando a HQPlayer de reojo