Bueno, conectado a la PS3 debería reconocerte la pista DTS como la Dolby Digital (no entiendo muy bien lo que queires decir con DDPII ¿Dolby Digital Pro Logig II?).
Lo del DVD creo que es facil de solucionar, vete al setup (menú de configuración) del DVD y configura la salida de audio digital en bitstream (o draw), no en PCM. Por lo que comentas seguramente sea eso.
Otra cosa distinta pudiera ser que no tengas correctamente asignada la entrada digital en el AV a la fuente correspondiente. Mira esto si no fuera la anterior en la configuración de tu AV.
Lo último sería que el cable coaxial tiene algún problema o lo has insertado mal en la conexión.
Sigue los pasos y creo que lo solicionarás.
Saludos.