Hola.
Vamos por partes, porque son muchas dudas.

Lo primero de todo es que sepas que para escuchar música, teniendo como tienes ahora una cadena JVC con cajas grandes, cualquier equipo + 5.1 altavoces que te compres por un precio máximo de 400€ va a sonar peor que lo que tienes.
Con tu presupuesto puedes encontrar cosas "aceptables" para cine pero ya te adelanto que la música se escuchará peor.
Otra cosa es que estuvieras acostumbrado a escuchar por la televisión, porque entonces cualquier cosa sonaría mejor, pero si tienes cajas, aprovéchalas de frontales y eso que te ahorras.

Como bien dices los sistemas todo en uno no tienen buenas críticas. Para pequeños presupuestos son aceptables pero no ofrecen calidad y desde luego no son ni actualizables ni escalables. Si compras un integrado que tenga todo, incluido entrada de usb para tus pelis, y airplay, lo tendrías todo para enchufar y ver, pero escucha algún sistema en algún centro comercial para que sepas como suena.
Yo de todas maneras te recomendaría mejor un receptor y altavoces, y aprovechar tus cajas actuales para los frontales.

DUDA 2: Decodificación de las películas. A ver... primero que la película que tengas en el pendrive sea multicanal ... y no se yo como decodificará la tele ... si lo reducirá a estéreo o sacará por la optica los 5 canales.. En cualquier caso seguro que el procesador del receptor es mucho mejor a la hora de decodificar que la tele. Si tienes un pc, lo suyo sería enviar la señal a través del hdmi desde el pc al ampli y desde allí a a la tele. Pero si todas las pelis las ves usando el reproductor de la tele y usando un pendrive tendrás que usar la entrada optica del ampli.

DUDA 3: Dolbys varios. Sobre esto puedes encontrar muchísima mas información por el foro, pero voy a intentar hacer un pequeño resumen para que te aclares.
Los formatos habituales de audio ( que no sean HD ) son Estéreo, o multicanal. El estéro ya lo conoces. El multicanal ( Dolby o DTS ) lleva 5.1 canales con información. Dolby Prologic, lo que hace es coger una señal estéreo de 2 canales y "convertirla" en una señal 5.1. Evidentemente no es un contenido multicanal real pero puede dar el pego.

Todo esto que te he comentado lo podemos extender muchisimo mas, pero espero que por lo menos te hagas una idea de por donde van los tiros.

Saludos