Hola dedalo78,
Para empezar usar AMD con Linux no es lo más recomendable, porque los drivers no están del todo pulidos.
Aparte de eso, si cuando dices "he intentado reproducir discos bluray desde el htpc" te refieres a discos bluray físicos, es totalmente normal que no puedas, pues en XBMC por defecto no se puede. Esto es porque los discos bluray originales tienen una serie de protecciones, y los programas que quieran ser compatibles y reproducirlos han de pagar una serie de royalties, con lo que muchos programas no pueden reproducir BD originales. En XBMC y bajo Linux se puede, pero es necesario instalar un software de terceros. Yo lo he hecho con MakeMKV, una vez instalado desde XBMC ves discos bluray originales sin problemas, pero es un programa de pago.
En cuanto al 3D, en Linux puedes reproducir MKV 3D SBS, de hecho el ya actual XBMC 13 está preparado para hacerlo de forma digamos "nativa", pero no puedes reproducir el formato Bluray3D, ya sea en disco físico o en una imagen .ISO. Para tener soporte de Bluray3D necesitas Windows y un software como Total Media Theatre o PowerDVD.
Con esos mismos programas también podrás ver Bluray originales, soportando además los menús.
Un saludo