Bueno, por la época de la TV seguro que no tiene entradas HDMI 1.4 con retorno de audio, por lo que tendrás que dejar la conexión óptica desde el TV al AVR, para el sonido de la señal captada por el TV. Esa salida del TV déjala como la tienes, en Dolby, para que cuando sintonice el TV algún canal que emita en ese formato 5.1 le llegue así al AVR. Generalmente será estéreo lo que le llegue por lo que si quieres oírlo en 5.1 activa el Dolby Prologic del AVR.

Las conexiones quedarían así: PS3---HDMI-->AVR---HDMI-->TV y TV---óptico-->AVR

No precisas mantener la conexión óptica de la PS3 al AVR pues por el HDMI va el audio y el vídeo juntos.

El cable de altavoz que precisas es barato, de 0,75 a 1 mm de sección, calculo que menos de 0,5€ el metro.