Configuras en el HTPC (Realtek) que el sonido salga por Digital optico, conectas el cable optico a una entrada de tu AVR. En el XBMC, en configuracion de audio, le dices que sale por optico 5.1.
Creo que no se mo elvida nada. Debe funcionar
Saludos.