Si usas el Plex directamente en la tele puede que te de tirones al tener que transcodificar, si usas el Plex directamente en el NAS, y en direct local o en streaming debería ir bien. En cuanto al formato no sé cuál es el problema, Plex nunca me ha dicho que no fuese compatible un archivo, Kodi si, pero Plex siempre me reproduce todo. Trastea un poco con la configuración de Plex y lee en foros de Plex, supongo que pronto encontrarás el problema.