Creo que lo primero que habría que someter a test es a los propios test ciegos como forma de medir lo que, supuestamente, pretenden medir o demostrar.
Lo he comentado en otro hilo, pero, puesto que se habla aquí, lo ejemplifico en un caso.
Todo depende de qué es lo que quieres demostrar. Sí quieres demostrar que el hierro barato puede resultar indistinguible del oro, puedes diseñar un experimento, donde, avezados joyeros, hacen un anillo de oro y otro de hierro al que le dan el mismo peso exacto, el mismo tacto, el mismo brillo y el mismo color hasta hacerlo indistinguible. Desde luego, el test ciego, resulta para absolutamente todos los no iniciados y, significativamente, también para los propios joyeros. Es posible, sin duda. Los falsificadores lo hacen con cuadros, monedas, muebles y otro tipo de materiales.
Si lo que quieres demostrar que el hierro nunca puede ser oro, basta con que cojas un cuchillo y ralles la superficie de ambos anillos para ver cual es hierro y cual es oro.
Una cosa está clara. El hierro no es oro. Otra cosa es que a unos les parezca ridículo pagar lo que se paga por un anillo de oro cuando puede tener un anillo casi idéntico por un precio ínfimo y que a otros les parezca ridículo pasearse con un anillo de hierro intentando convencer a todo el mundo que es oro.
He dedicado muchos años a la investigación y, si algo he sacado en conclusión es que siempre se puede diseñar un experimento para demostrar aquello que quieres demostrar. Los test ciegos son un experimento para demostrar que las diferencias entre equipos baratos y equipos de alta gama ofrecen el mismo resultado.
Se me ocurre otro experimento distinto para demostrar otra cosa, en relación, por ejemplo, a los altavoces. Utiliza un sólo lector de cd, un solo ampli, un solo disco y un solo tema, en la misma sala, en la misma posición y sin ningún tipo de acondicionamiento. La única variable que modificas es el tipo de altavoz. Utiliza, para ello, unos de 200 euros y otros de 20.000. Os apuesto a que cualquiera con un mínimo oído detecta que los altavoces de 20.000 suenan infinitamente mejor que los de 200. Ergo, desde un punto de vista de diseño experimental, la única conclusión posible es que hay una diferencia significativa entre ambos a favor del de 20.000.
Ojo, ambos experimentos son válidos y ambos demuestran la hipótesis de partida. Simplemente, son hipótesis distintas, no contradictorias.
Uno intenta demostrar que hay diferencias entre pantallas según la calidad, y otro que puede disfrazarte un equipo barato para que no notes diferencias con uno caro. Ambas cosas pueden ser ciertas.