Hay muchos hilos al respecto, utiliza el buscador.
Si tu TV es Full HD y vas a utilizar material SD (p.e. un DVD) con resolución de 576 ya sea tu reproductor o la TV tendrán que escalar la imagen a las 1080 nativas de tu TV.
Si sacas la imagen con una resolucion de 576, la TV tendrá que escalar hasta los 1080.
Si lo haces a 720, el reproductor escalará de 576 a 720 y la TV de 720 a 1080.
Si lo haces a 1080 la TV no tendrá que escalar nada.
¿Qué cual es la mejor opción?
Facil, la que mejor se vea ... y eso solo lo podrás apreciar tu mismo.
Respecto a la configuración HDMI, prueba también aunque suele dar mejor resultado la YCBCR que la RGB.

Saludos.