Test público a doble ciego entre dos cajas dispares... Y la potencia de un eq

Iniciado por Lucky

Como comentaba al principio del hilo, dependerá de cómo interpretemos la evaluación así será el método estadístico de evaluación más correcto.

Para mi se trata de comparar en cada grupo una primera caja con la segunda y decidir si son iguales, y luego la tercera con la anterior y decidir si son la mismas. Por tanto en cada grupo hay dos evaluaciones, lo que en 9 grupos sería 18 evaluaciones, que quedan en 17 porque el grupo 5 estaba incompleteo.

Si revisamos tus respuestas, Josemico, has elegido correctamente (has decido que la primera es igual a la segunda o no, y si la tercera es igual a la segunda o no) en 11 ocasiones (date cuenta que es independiente de que coincidan o no las letras con las reales).

Entonces tienes un porcentaje de aciertos del 65% (11 de 17 pares comparados), esto tampoco indica que no esos aciertos no sean debidos al azar, si establecemos el límite de esa probabilidad en el 5% o menos, pues según la distribución binomial acertar 11 de 17 tiene una probabilidad del 9,4% superior a ese límite del 5%. Pero ha estado cerca, con solo un acierto más (12 de 17) la probabilidad de que sea por azar baja al 4,7% inferior a ese límite de 5% o menos que los trabajos científicos, arbitrariamente por otro lado. En primera lectura es un poco lioso.

Un servidor también está en ese nº de aciertos evaluando por pares, 11 de 17, no pudiendo decir que el azar no haya intervenido para encontrar diferencias entre las cajas.

Si queréis seguimos a ver si alguien llega a 12 de 17. Este podría decir que ha distinguido las cajas con una probabilidad de que haya sido por azar menor del 5%.

Pero esta valoración EMHO no es correcta, y no lo es porque al igual que en el test de audiocheck sobre detectabilidad de niveles la idea es de tres muestras variantes a elegir la correcta en cada una de las 10 pistas ... y aún así te exigen acertar 9 o 10 pistas para darla como válida sobre esas 30 variantes a elegir (que es una valoración similar a la que he utilizado en mi test).

...pero además, y lo más importante de esta prueba es que tiene que haber un 90% de correspondencia entre todas la "A" y "B" de toda las muestras, porque sino lo que valoras es sólo que distingues el diferente target de curva de respuesta entre ambos sistemas (que lo hay, porque las curvas ni siquiera a 1/6 octava son iguales), pero no las diferentes cajas (que es la finalidad principal del test).



De hecho en un "AB" en parte es hasta más difícil... pues no tienes el apoyo de una tercera muestra que se pueda parecer a cualquiera de las otras dos y poder actuar por "eliminación"... luego no podemos emplear el método que has utilizado pues hay relación entre las tres muestras entre sí (y no entre sólo dos pares por cada tema).



Nadie se ha acercado lo más mínimo a identificar estadísticamente el supuesto sonido característico de cada caja, pues no hay correlación alguna con suficiente peso en los resultados obtenidos... y es que josemico no sólo no llega al 35% de acierto de temas pasados (cuando se pide incluso incluso menos del 90% al haber realizado la prueba con 9 temas en vez de 10, y exigir acertar 8 o 9)... es que de sólo ese 35% que ha acertado, ni siquiera tiene correspondencia alguna entre las "A" y "B"


En una estadística sabes no existen las medias tintas. En un blind test del tipo AB acertar el 79% es igual de azar que acertar el 1% (si tiras una moneda al aire la probabilidad de azar de acertar cara o cruz es clavada en ambos casos); el 80% equivale a resultado dudoso y repetición del test, y del 90 al 100% significa haber superado la prueba.

El método comparativo que planteas de comparar el primer par, y luego el segundo par de cada pista no es real (porque en realidad tienes la opción de comparar también primera con tercera para poder descartar por igualación de dos pistas).... y además ni aún con el método que propones, un 12 de 17 daría como resultado la opción de repetir la prueba (seguiría siendo puro azar). :


Este sería el resultado obtenido de todos los participantes (si no me he colado) siguiendo la metodología que planteas:

-Iketz: 8 de 17
-Rafael49: nulo
-Chordeater: 12 de 17
-Miguedu66: 11 de 17
-Hemiutut: 9 de 17
-Encarni: 7 de 17
-Lucky: 12 de 17
-raul_cegarra: 12 de 17
-josemico: 11 de 17
-juluska: 9 de 17
-Marcuse: 8 de 17
-onizuka26: nulo
-isabido: nulo
-Taboadax: 6 de 17
-b69082001: 7 de 17
-killerb: 10 de 17
-yosem 17 de 17
-Lolopop 1: 7 de 17
-Lolopop 2: 10 de 17

Según esta estadística que EMHO ni siquiera mide la detectabilidad de diferente curva de respuesta entre ambos sistemas por el motivo que he comentado de que no se puede resumir en comparar dos pares de muestras por cada TEMA, sólo yosem superaría el distinguir diferencias sutiles de curvas de respuesta entre ambos sistemas; el resto serían todos resultados igual de aleatorios (tanto el que ha acertado un 6 de 17 como el que a acertado un 12 de 17).


Y aún así, seguimos sin medir si ambas cajas tienen una característica sonora detectable que hace que se puedan diferenciar, porque para ello tenemos que unir la variable de la correspondencia, que si nos fijamos en los resultados en donde cada "A" tiene que ser siempre la misma caja en las 27 muestras de manera individual, pareada dos a dos, o incluso entre sólo los grupos de cada tema (evidentemente entre los acertados porque el resto ya daría error; que es tal y como lo había planteado) no la pasa nadie a pesar de ser cajas y resto de sistema tan diferente en concepto activo vs pasivo, como en materiales, de recinto, driver, amplificación y cables



Por otro lado, el segundo test que plantearé del tipo "AB" con 10 muestras estoy seguro será mucho más tajante... y eso que grabé muestras en las que las diferencias se notan mucho más para facilitarlo.

Un saludete

Siento haberte hecho trasnochar , en cuanto pueda te daré mi opinión, y esperamos ese segundo test con ilusión (gracias por dar otra oportunidad a los Golden Ears ).

Saludetes

Iniciado por Lucky

Siento haberte hecho trasnochar , en cuanto pueda te daré mi opinión, y esperamos ese segundo test con ilusión (gracias por dar otra oportunidad a los Golden Ears ).

Saludetes

ja,ja,ja

Fíjate que en realidad tratar en cada TEMA las tres muestras 1,2,3, como pares 1AB 2AB, y posteriormente un segundo par 2AB 3AB, es en realidad lo mismo que realizar un trato lineal, pues tanto si en la 2º muestra del primer par eliges A o B en el segundo par en un AB vuelve a ser independiente y siempre al 50% de posibilidad tanto si era una A o una B... luego mirándolo como pares consecutivos en los que no tienes en cuenta correspondencia de "n" variantes entre las tres muestras, los 17 pares citados sólo se pueden valorar como "pares lineales independientes" del tipo blind test AB (no como una distribución binomial)... es decir... que para que el resultado no fuera aleatorio se debería acertar más de un 80%, que equivaldría a mínimo 14 aciertos para repetir la prueba (82.35%), pues un 13 de 17 se corresponderían a un 76.47% (resultado aleatorio); y mínimo 15 aciertos para aceptar se ha distinguido sólo la diferente curva de respuesta.

Como curiosidad, si algún participante hubiera puesto sin escuchar muestra alguna ABA o BAB en todos los temas hubiera obtenido ya un 10 de 17


Si te fijas, uno de los temas donde más fallo ha habido es precisamente el TEMA 5, donde sólo había dos muestras a elegir (sólo 6 personas de las 18 han acertado dicho tema, poniendo AA o BB, precisamente porque no tenían una tercera muestra que les ayudara a descartar una cómo de diferente). Y eso que si además añadimos la correspondencia entre pistas sólo valdría o AA o BB (y no los dos resultados que hemos dado como válidos en esos 17 pares)... luego esos 6 acertantes quedarían reducidos en número.

Lo mismo ocurre con los temas cuyas muestras reales eran AAA o BBB , que al ser en realidad muestras de la misma caja con misma curva es mas fácil dudar si son o no iguales o no en un blind test, por eso el TEMA 8 es otro de los que menos personas han acertado; sólo 4 participantes han dado el AAA o BBB... y si de nuevo reducimos a sólo AAA o sólo BBB para que haya correspondencia entre pisats, ese número se vuelve a reducir).


Si hubiera tenido mala leche podría haber complicado el test MUCHO más

Un saludete

Si todo va bien en pocos días publicaré el segundo blind test prometido


Un saludete

Sin ánimo de polemizar, la verdad ... sigo el hilo con interés pero no he participado porque es materialmente imposible acertar un pleno o con ese margen del 5% de error.

Pero ... ¿realmente alguien estaba convencido que alguna persona acertaría el pleno?

Iniciado por ManuelBC

Sin ánimo de polemizar, la verdad ... sigo el hilo con interés pero no he participado porque es materialmente imposible acertar un pleno o con ese margen del 5% de error.

Pero ... ¿realmente alguien estaba convencido que alguna persona acertaría el pleno?

Se acierta cuando las diferencias existen y además son audibles. Supongo que eso ya lo sabías
Por eso yosem ha acertado pleno en la detectabilidad de diferencia de curvas de respuesta en el test (creía que lo habías leído).... aunque en cambio no ha sido capaz de diferenciar las cajas

Un salduete

No, no he leído todos los post de este hilo, si la mayoría, hay muchos hilos con post nuevos diariamente e intento leer en general y aportar lo que puedo o creo saber.

Yo escuché algunos videos, no todos, con cascos decentes, y nada, todo me sonaba similar sin poder saber descriminar una u otra con lo que anotar por anotar, desistí