No creo que un sistema con esa tarjeta y altavoces activos vaya a ser peor que un sistema con un av y altavoces pasivos.
Son sistemas diferentes cada uno con sus pros y sus contras, ambos perfectamente válidos y que perfectamente podrán estas a la par en cuanto a calidad de sonido. A partir de hay, creo que es más es una cuestión de gustos, de lo que ya tengas, y sobre todo de la sala donde vallan a ir colocados.
Respondiendo a la pregunta en cuanto a que monitores activos recomendaría para esa tarjeta... Diria que para una sala de menos de 18 m2 compraría los JBL LSR 305, o Yamaha hs5, acompañados de uno o dos subwoofers de 10´ o 12´. Si la sala es de más de 30 m2 sus hermanas mayores (LSR 308 o Hs8) y 2 o 4 subwoofers de 12´o 15´. Y si estoy en medio pues dudaría entre las pequeñas o las grandes o buscaría a lo mejor algo intermedio con woofers de 6´- 7´ como las Yamaha Hs6 o Mackie MR6 MK3.
Eso suponiendo que tienes libertad de ubicación, porque si las vas a colocar pegadas a las paredes evitaría esos monitores que tienen bass reflex traseros y me iría por ejemplo a las conocidas beringher 2030A, las Adam f5 o las Presonus Eris 5 (o sus hermanas mayores, dependiendo del tamaño de la sala).
Como ves doy varias opciones, y es que yo más que una marca o modelo me fijo bastante más en el diseño acústico del altavoz en si en relación a la sala donde van a ir, que en cualquier otra cosa. Superado cierto umbral de calidad al final, una vez optimizado, las diferencias creo que son mínimas.
Y como conectarlos pues esta más o menos claro... esa tarjeta tiene salidas RCA, así que por RCA, y a menos que tengas tiradas muy largas no me plantearía líos de conversión a XLR. (Di que las JBL creo que no tiene entrada rca, pero vamos, que es buscar el cable que haga el cambio al tipo de entrada que quieras usar).
Por cierto, que no tengo esa tarjeta, pero dudo mucho que no puedas usarla con tu viejo AV como han dicho. Lo normal es que perfectamente salgas por las salidas RCA de la tarjeta, los canales que quieras los pasas por ese AV antiguo que tienes, haciendo simplemente de amplificador (muy raro seria si no tiene entradas RCA, pero míralo por si acaso) y el resto de canales a monitores activos. Eso si, lo malo de esto es que te puede quedar un poco descompensado el sistema, pero ya es cuestión de ecualizar y ajustar, que para eso estamos reproduciendo desde PC!!! Como consejo usaría ese equipo viejo para los canales traseros, y al para el trió frontal que los tres altavoces sean iguales, pero ya digo, todo depende de lo que tengas y la integración del sistema que consigas. Si no te convence pues los retiras y un para mas de activos.