Configuras en el HTPC (Realtek) que el sonido salga por Digital optico, conectas el cable optico a una entrada de tu AVR. En el XBMC, en configuracion de audio, le dices que sale por optico 5.1.

Creo que no se mo elvida nada. Debe funcionar

Saludos.