Test en aveugle

[Themisto]

Ca tombe bien. Justement, le test de la "preuve extraordinaire" on se demande ce qu'il mesure exactement

Qu'est-ce qui ne te vas pas dans la réponse "la capacité de l'auditeur à identifier le son" ?

Ce qui ne va pas, c'est que "la capacité de l'auditeur à identifier le son" est un concept que:
- le testeur ne maîtrise pas (est incapable de définir avec précision ce qu'il aimerait que l'auditeur "identifie" comme "son"),
- l'auditeur non plus (est incapable de définir avec précision ce que lui ou le testeur "identifie" comme "son"),
- l'auditeur est incapable de se tenir dans le temps à un seul paramètre variable dans son identification du "son", et pour cause, il en existe plusieurs.
- repose sur plusieurs variables, non définies à l'avance et dont leurs interactions ne sont pas préalablement analysées (ou définies, ou comprises).

Un tel test, donc, a toutes les chances à échouer, du fait du fameux principe que j'ai cité.

A moins qu'un élément du "son" à identifier est tellement au-dessus du reste, tellement flagrant qui pourra (totalement arbitrairement) être compris par l'auditeur comme le "son" à identifier.
En d'autres termes, la seule chance du testeur ou de l'auditeur à réussir ce test, consiste à le ramener (accidentellement) à une seule variable testée.

Voilà ce qui ne va pas.

[Themisto]

Le principe est simple : c'est à celui qui affirme l'existence d'un phénomène nouveau ou allant à l'encontre des connaissances établies d'en apporter la preuve, et affirmation extraordinaire nécessite preuve extraordinaire.

Ca tombe bien. Justement, le test de la "preuve extraordinaire" on se demande ce qu'il mesure exactement : le phénoméne ? celui qui affirme ? l'affirmation de l'existence passée ? la reproductibilité ? quelles variables mesure-t-il ? .
Comme tu peux voir, le débat est pile dans l'axe.
Et donc... je disais : il mesure combien de variables ce fameux test ?

(ce qui est sûr: il ne mesure pas la différence de voltage maxi des sources, vu qu'on est censés la régler avant)

l'ABX audio ne mesure rien. Ne calcule rien. n'équationne rien. c'est une méthode applicable la dégustation du ghozzono.

L'auditeur en utilisant un protocol définit comme ABX audio cherche à DETECTER des différences entre deux éléments.

Ce qui est plus important (ce qui a été déjà dit par d'autre dans ce sujet) et sur lequel il serait bon de ne pas passer.

- l'entrainement à l'écoute.
- Quoi utiliser comme signale sonore pour faire le test.


Francois

François,

la "détection" des "différences" peut échouer tout simplement parce que les "différences" il y en a plusieurs, elles ne sont pas forcement prises en compte par l'auditeur (parce que non définies à l'avance) et qu'elles sont liées entre-elles. C'est bien là le problème.
A mon avis, si à cause de cela, la probabilité que le test échoue est augmentée de 20%, alors elle invalide de facto toute tentative d'un traitement statistique positif du résultat.

[herve25]

Encore une fois, les tests ABX ne sont pas la seule méthode en aveugle dans le domaine de l'audio!!! L'ABX est UNE méthode qui s'interesse à mettre en évidence une différence en s'appuyant sur une méthode de RECONNAISSANCE d'objets comparés. Si, un individu est capable de reconnaitre entre deux ou plusieurs modèles avec une fréquence telle que celle-ci ne peut être attribuée à la chance ou au hasard, on considère qu'il existe une différence audible entre les matériels testés.

Je m'interesse aux tests en aveugle EN GENERAL dans le domaine de l'audio, car je l'ai dit et redit (mais il semble que beaucoup de gens aient du mal à le comprendre et/ou à l'admettre), les tests ABX bien qu'utiles ont leurs limites et ne répondent pas à certaines questions là où D'AUTRES TESTS EN AVEUGLE SERAIENT PLUS ADAPTES. Cependant, il faut que ces études soient effectuées avec la rigueur nécessaire à toute étude comparative de ce type.
Ce que je dis également est que certains présentent comme une étude scientifique, ce qui est au mieux une expérience partagée (comme dans l'"étude" où je répondais à Pio). Je prétends que les mauvaise études sont pire que les évaluations personnelles car certains vont prendre ces études"pour argent comptant" dans leur prise de décision.

[Pio2001]

Themisto, remplace la "capacité de l'auditeur à identifier le son" par la "capacité du cuisinier à faire cuire une omelette", et tu comprendras ce que je ne comprends pas :

Je te propose un protocole pour tester la prétendue capacité du cuisinier à faire cuire une omelette : on goûte. Si le jaune d'oeuf est liquide, l'omelette n'est pas cuite, sinon, on ne peut rien en déduire, ça dépend des goûts et des recettes.

Voilà ce qu'Expertdoc me rétorque :
faudrait il encore que le protocole [consistant à goûter] soit reconnu comme susceptible d'apporter une quelconque preuve, avis qui n'est partagé que part ses adorateurs, d'où pour les autres la raison d'être devient plutôt celle de ne pas être.

De ton côté, voici ce que ça donne :

Ce qui ne va pas, c'est que "la capacité [du cuisinier à faire cuire une omelette]" est un concept que:
- le [goûteur] ne maîtrise pas (est incapable de définir avec précision ce qu'il aimerait que [le cuisinier "cuisine" comme "omelette"]),
- [le cuisinier] non plus (est incapable de définir avec précision ce que lui ou le [goûteur "cuisine" comme "omelette"]),
- [le cuisinier] est incapable de se tenir dans le temps à un seul paramètre variable dans [sa cuisson de "l'omelette"], et pour cause, il en existe plusieurs.
- repose sur plusieurs variables, non définies à l'avance et dont leurs interactions ne sont pas préalablement analysées (ou définies, ou comprises).

Un tel test, donc, a toutes les chances à échouer, du fait du fameux principe que j'ai cité.

A moins qu'un élément [de "l'omelette"] à identifier est tellement au-dessus du reste, tellement flagrant qui pourra (totalement arbitrairement) être compris par [le cuisinier] comme ["l'omelette" à "cuisiner"].
En d'autres termes, la seule chance du [goûteur] ou [du cuisinier] à réussir ce test, consiste à le ramener (accidentellement) à une seule variable testée.


Franchement, que je lise la version originale ou la version omelette, je reste comme un con, et je ne sais pas quoi répondre !

[Themisto]

Parce qu'à un moment, il faut bien en revenir au fondement de cette polémique : pourquoi une technique (qui peut se décliner de multiples façon afin de s'accorder avec les préférences d'écoute) qui concentre l'auditeur sur ce qu'il entend est elle si violemment attaquée ? Qu'est ce qui provoque une réaction aussi forte ? D'une façon ou d'une autre, c'est parce que des gens se sentent attaqués, remis en cause. Sinon, pourquoi une telle violence à l'encontre de quelque chose de, finalement, très basique ?

Pour ma part, une technique basée sur un traitement statistique, qui prétend avoir valeur objective, a tout intérêt à être "carrée" et ne rien laisser au hasard. Si je ne suis pas convaincu du sérieux de la méthodologie, alors, dans mon référentiel des valeurs, elle s'apparente à une manipulation. Et il me semble normal que je la critique.
Je suis, tout aussi critique sur les "avis personnels" qui prétendent avoir valeur objective.

[Themisto]

Themisto, remplace la "capacité de l'auditeur à identifier le son" par la "capacité du cuisinier à faire cuire une omelette", et tu comprendras ce que je ne comprends pas :

Je te propose un protocole pour tester la prétendue capacité du cuisinier à faire cuire une omelette : on goûte. Si le jaune d'oeuf est liquide, l'omelette n'est pas cuite, sinon, on ne peut rien en déduire, ça dépend des goûts et des recettes.

Voilà ce qu'Expertdoc me rétorque :
faudrait il encore que le protocole [consistant à goûter] soit reconnu comme susceptible d'apporter une quelconque preuve, avis qui n'est partagé que part ses adorateurs, d'où pour les autres la raison d'être devient plutôt celle de ne pas être.

De ton côté, voici ce que ça donne :

Ce qui ne va pas, c'est que "la capacité [du cuisinier à faire cuire une omelette]" est un concept que:
- le [goûteur] ne maîtrise pas (est incapable de définir avec précision ce qu'il aimerait que [le cuisinier "cuisine" comme "omelette"]),
- [le cuisinier] non plus (est incapable de définir avec précision ce que lui ou le [goûteur "cuisine" comme "omelette"]),
- [le cuisinier] est incapable de se tenir dans le temps à un seul paramètre variable dans [sa cuisson de "l'omelette"], et pour cause, il en existe plusieurs.
- repose sur plusieurs variables, non définies à l'avance et dont leurs interactions ne sont pas préalablement analysées (ou définies, ou comprises).

Un tel test, donc, a toutes les chances à échouer, du fait du fameux principe que j'ai cité.

A moins qu'un élément [de "l'omelette"] à identifier est tellement au-dessus du reste, tellement flagrant qui pourra (totalement arbitrairement) être compris par [le cuisinier] comme ["l'omelette" à "cuisiner"].
En d'autres termes, la seule chance du [goûteur] ou [du cuisinier] à réussir ce test, consiste à le ramener (accidentellement) à une seule variable testée.


Franchement, que je lise la version originale ou la version omelette, je reste comme un con, et je ne sais pas quoi répondre !

Tu n'as qu'une seule variable dans ton exemple : la liquidité du jaune d'œuf. C'est ce que tu demandes à tester.
Dans le test du son, quelle est cette unique variable ? La pression acoustique ?

[Pio2001]

Post effacé : erreur, mauvaise analogie.

Je réfléchis...

[syber]

Themisto,


Il me semble que la variable, c'est tout simplement celle qui est identifiée et nommée par l'auditeur lors des écoutes libres préalables à l'écoute en aveugle : telle attaque de note, telle tenue de note, telle réverbération de salle, tel timbre de voix ou d'instrument, telle nuance de grave, etc ...

[Pio2001]

Tu n'as qu'une seule variable dans ton exemple : la liquidité du jaune d'œuf. C'est ce que tu demandes à tester.
Dans le test du son, quelle est cette unique variable ? La pression acoustique ?

Ce qu'on teste, ce n'est pas la liquidité du jaune d'oeuf, mais la capacité du cuisinier à faire cuire une omelette. La liquidité du jaune d'oeuf est le critère permettant de tester.

Ce critère est l'analogue de l'identification répétée de X, qui permet de confirmer la capacité de l'auditeur à l'avoir reconnu.

[frgirard]

Le principe est simple : c'est à celui qui affirme l'existence d'un phénomène nouveau ou allant à l'encontre des connaissances établies d'en apporter la preuve, et affirmation extraordinaire nécessite preuve extraordinaire.

Ca tombe bien. Justement, le test de la "preuve extraordinaire" on se demande ce qu'il mesure exactement : le phénoméne ? celui qui affirme ? l'affirmation de l'existence passée ? la reproductibilité ? quelles variables mesure-t-il ? .
Comme tu peux voir, le débat est pile dans l'axe.
Et donc... je disais : il mesure combien de variables ce fameux test ?

(ce qui est sûr: il ne mesure pas la différence de voltage maxi des sources, vu qu'on est censés la régler avant)

l'ABX audio ne mesure rien. Ne calcule rien. n'équationne rien. c'est une méthode applicable la dégustation du ghozzono.

L'auditeur en utilisant un protocol définit comme ABX audio cherche à DETECTER des différences entre deux éléments.

Ce qui est plus important (ce qui a été déjà dit par d'autre dans ce sujet) et sur lequel il serait bon de ne pas passer.

- l'entrainement à l'écoute.
- Quoi utiliser comme signale sonore pour faire le test.


Francois

François,

la "détection" des "différences" peut échouer tout simplement parce que les "différences" il y en a plusieurs, elles ne sont pas forcement prises en compte par l'auditeur (parce que non définies à l'avance) et qu'elles sont liées entre-elles. C'est bien là le problème.
A mon avis, si à cause de cela, la probabilité que le test échoue est augmentée de 20%, alors elle invalide de facto toute tentative d'un traitement statistique positif du résultat.

Si tu tente un abx ou n'importe quel test en non aveugle sans au préalable chercher des élements sonores permettant une éventuelle discrimantion, tu part à l'aventure.

N'importe quelle écoute de test se prépare.

Francois

[Themisto]

Themisto,


Il me semble que la variable, c'est tout simplement celle qui est identifiée et nommée par l'auditeur lors des écoutes libres préalables à l'écoute en aveugle : telle attaque de note, telle tenue de note, telle réverbération de salle, tel timbre de voix ou d'instrument, telle nuance de grave, etc ...

Ce que je pense est, qu'on teste la capacité de l'auditeur à pouvoir identifier avec précision (sous la forme d'une seule variable, à sa discrétion) sa précédente écoute, et sa capacité de comparer deux souvenirs acoustiques (toujours sous cette prétendue forme d'une seule variable choisie). Et ceci avec une précision statistique donnée.

Personnellement, je ne trouve pas étonnant du tout que le test échoue, dans ces conditions.
Et, je maintiens que le test ne teste pas des différences perçues entre deux configurations. Il teste la capacité de l'auditeur à produire une preuve répétable de sa propre compréhension de la situation.

Dans ce cadre, même si le test réussi (ce qui serait vraiment étonnant) quelle pourrait être sa valeur pour les autres personnes que l'auditeur ? Le test ne permet pas, toujours dans ces conditions, de garantir l'aptitude des autres auditeurs à en faire autant.
Et si le test échoue, alors quelle est la cause ?
- L'absence de la capacité de l'auditeur à pouvoir identifier avec précision (sous la forme d'une seule variable, à sa discrétion) ses précédentes écoutes ?
ou
- Le défaut de sa capacité de comparer deux souvenirs acoustiques (toujours sous cette prétendue forme d'une seule variable choisie), avec une précision statistique ?
ou
- Son incapacité à maintenir cette prétendue forme d'une seule variable choisie constante pendant les tests ?
ou
- Le fait qu'il n'y a rien à identifier ?

ou plusieurs causes à la fois ?

Et, dans ces conditions, quel est le rôle du matériel testé dans les trois premiers cas ?

[Pio2001]

Ce que je pense est, qu'on teste la capacité de l'auditeur à pouvoir identifier avec précision (sous la forme d'une seule variable, à sa discrétion) sa précédente écoute, et sa capacité de comparer deux souvenirs acoustiques (toujours sous cette prétendue forme d'une seule variable choisie). Et ceci avec une précision statistique donnée.

C'est exactement ça. (Les puristes diront que ce n'est pas statistique, mais probabiliste).

Personnellement, je ne trouve pas étonnant du tout que le test échoue, dans ces conditions.
Et, je maintiens que le test ne teste pas des différences perçues entre deux configurations. Il teste la capacité de l'auditeur à produire une preuve répétable de sa propre compréhension de la situation.

Que le test puisse échouer, en effet, ce n'est pas étonnant, car on ajoute des difficultés à l'exercice initial, en non aveugle. Ce qui l'est plus c'est l'immense difficulté qu'il y a parfois à améliorer son score.

Je ne comprends pas bien la deuxième phrase. On teste bien les différences perçues. La capacité de l'auditeur à les reproduire est bien sûr un facteur essentiel à la réussite de ce test.

- L'absence de la capacité de l'auditeur à pouvoir identifier avec précision (sous la forme d'une seule variable, à sa discrétion) ses précédentes écoutes ?
ou
- Le défaut de sa capacité de comparer deux souvenirs acoustiques (toujours sous cette prétendue forme d'une seule variable choisie), avec une précision statistique ?
ou
- Son incapacité à maintenir cette prétendue forme d'une seule variable choisie constante pendant les tests ?
ou
- Le fait qu'il n'y a rien à identifier ?

ou plusieurs causes à la fois ?

Ce sont d'excellentes questions, et il faut les poser dans les CR d'écoutes en aveugle. Les auditeurs, et eux seuls, peuvent y répondre.

[expertdoc]

Pourquoi une technique (qui peut se décliner de multiples façon afin de s'accorder avec les préférences d'écoute) qui concentre l'auditeur sur ce qu'il entend est elle si violemment attaquée ? Qu'est ce qui provoque une réaction aussi forte ? D'une façon ou d'une autre, c'est parce que des gens se sentent attaqués, remis en cause. Sinon, pourquoi une telle violence à l'encontre de quelque chose de, finalement, très basique ?
…

Mais ce n'est pas LA technique "ABX audio" qui est attaquée ou qui provoque un prurit aigu, c'est juste la valeur supposée scientifique, indiscutable, quasi mystique donnée à cette technique en audio, et je dis bien en audio, par ses adorateurs pour justifier leurs bons choix et les hérésies des choix des autres.

C'est aussi exaspérant pour moi que celui qui dit être surlecuté par un changement de cable secteur ou qui demande comment gérer ses graves ou ses aigus de mauvaise qualité par un changement de cable de modulation .....

[Themisto]

Je ne comprends pas bien la deuxième phrase. On teste bien les différences perçues. La capacité de l'auditeur à les reproduire est bien sûr un facteur essentiel à la réussite de ce test.

Ma phrase (un peu trop condensée, j'avoue) se résume à dire que:
l'auditeur peut avoir la capacité de percevoir une ou des différences
mais que le test, ne fait que tester sa capacité à les discriminer, les organiser, les stocker efficacement dans sa mémoire, puis les comparer entre-elles.
C'est un peu trop pour un seul test, ce qui invalide une quelconque estimation de " la capacité de l'auditeur à percevoir des différences".

(si tenté que des différences perceptibles existent, bien entendu)

[ohl]

Les proses des anti-ABX me fatiguent décidément.
A ceux-là :
pour éviter de critiquer les tests en double-aveugle sans jamais en avoir fait le moindre, pourquoi ne pas venir à la prochaine réunion des kangourous ?
Vous pourrez vous rendre compte de la réalité de tests ABX et critiquer avec des arguments enfin étayés...