Cuando dices salida RCA digital quieres decir salida Coaxial.

El problema, CaboMayor, es que tu TV solo emitirá señal 5.1 por su salida óptica si esta procede de un canal de TV sintonizado por él, y si configuras la salida en Automático, dejando el altavoz del TV en apagado. La mayoría de los TV modifican la señal de audio que les llegan por HDMI, pasándola a PCM estéreo (pues ellos solo utilizarán esos canales), de manera que aunque el Tivo sintonice en 5.1, al pasar al TV por HDMI se convierta en 2.0 y así te aparezca a través de la salida óptica del TV.

Por si tu TV si hiciese el paso de la señal directamente desde la entrada HDMI a la salida óptica sin modificaciones, haz como te digo, selecciona la salida digital del TV en automático y pon el altavoz del TV en apagado.

De seguir sin señal 5.1 (Dolby Digital) entonces la solución es la que te han dado estos compañeros, añadir otro cable óptico desde el Tivo directamente a tu AVR, dejando el anterior desde el TV al AVR para cuando no utilices el Tivo.

Solo añadir que podrás, desde una fuente estéreo, simular un 5.1 usando el Dolby Prologic o el DTS Neo que te ofrece tu AVR.