Con la salida óptica dejas que sea el AVR el que decodifica los formatos de sonido, es lo mejor salvo que el DVD tenga un conversor analógico mejor que el AVR.

En la mejora de video tendrás que conectar la mejor salida que compartan el DVD y el TV. Por ejemplo si tiene salida por componentes y la TV esa entrada sería probablemente la mejor, pero si no es así la conexión por SCART configurada para señal de salida en el DVD tipo RGB sería la mejor opción (doy por hecho que tu DVD o tu TV no tiene conexiones HDMI).