Hola :

Decirte en primer lugar que la ps3 no saca por óptica 96 Khz, pero sí 88,2 Khz. Resulta curioso que pueda "escalar" a 176,4 Khz pero muchos aparatos no admiten ese tren de datos vía spdif, sino sólo hasta 96 Khz..

Dicho lo anterior, yo pondría para este uso, la salida en bitstream directo. Los datos que te pone en bitstream mixto no siempre son los que realmente salen por la salida óptica, ya ha picado más de uno en eso.
,
Respecto a la rebaja que hace la ps3 de 96 Khz a 48 Khz, mira qué opción de bitmapping pones, porque hay varias y cada una entrega un sonido ligeramente diferente (es cuestión de gustos).
Dicho de otra forma, que los lectores NO SUENAN IGUAL, porque, por ejemplo, la Ps3, un mismo lector, pues puede sonar diferente según el filtro que elijamos.

Saludos.