¿A que huelen las nubes? xDD, cuanta pregunta

A ver, en las especificaciones de tu AV tendrá que venir los formatos con los que es compatible, así que te aconsejo consultar el manual. En caso de que sea compatible, lo será por HDMI como mínimo y posiblemente por óptica.

Si puedes conectar por HDMI puedes sacar los Flac 5.1 aunque el AV no sea compatible con ese formato, pues lo puedes sacar ya decodificado en los 6 canales (por HDMI, a diferencia del SPDIF, sí que se puede pasar 5.1/7.1 ya decodificado).

Por analógico no hace falta que mires ningún tipo de compatibilidad, porque el analógico... analógico es, el AV no sabe de donde viene la fuente ni que formato tiene, ya que es una señal totalmente procesada. Con la conexión analógica tienes la cuestión de que si la tarjeta de sonido no es de cierta calidad te empeorará la calidad resultante, pues te puede meter ruido. En general no es recomendable usar las tarjetas de sonido integradas, mejor usar una de calidad interna (Asus Xonar DG por lo menos) o una externa por USB que sea decente (también se les llama DAC), aquí tienes también algunas Asus xonar y Soundblaster.

Saludos