herve25 a écrit:Je suis globalement d'accord avec les interventions précédentes mais avoue ne pas comprendre la première partie du texte de Pio.
1.A-t-on le droit de parler d'autre chose que de l'ABX dans ce file? A mon sens oui puisque le titre est sur les tests en aveugle en général;
2. A-t-on le droit de parler des limites de l'ABX tout en lui reconnaissant une certaine utilité? J'ai essayé de le faire sans esprit polémique particulier. Serait ce un crime de lèse majesté? Si j'ai fait une erreur dans le raisonnement et l'argumentaire vis à vis de ces limites, je suis prêt à les écouter, les discuter et les accepter s'ils m'apparaissent valides
3. A t-on le droit de se servir d'exemples ou d'expériences dans d'autres disciplines pour étayer son propos? Là effectivement, on peut discuter de leur bien fondé, mais je crois qu'il serait dommage de ne pas regarder ce que font les autres lorsqu'ils sont confrontés à des problèmes sinon similaires du moins assez proches.
1 - Oui ; 2 - Oui ; 3 - Oui
...pour les détails, voir ce que Pio a écrit.
Sinon je pense à un truc pour que ce topic serve quand même à quelque chose : je pense que la parole de Herve25 aura du poids pour Themisto, JACBRU, et autres sceptiques imperméables à la simple démonstration logique (et peut-être même Ghozze). Ayant perdu espoir dans la possibilité que Themisto & co ( et peut-être d'autres je ne sais pas) arrivent à accepter le principe du test ABX par le raisonnement (une trivialité comme le rappel Pio), il reste l'argument d'autorité : si Herve25 est d'accord avec ce que je vais énoncer dans l'encadré plus bas, ça pourrait avoir une influence positive sur ces personnes. Herve serait notre médiateur en quelque sorte (c'est malheureux d'en arriver là alors que nous avons tous et chacun un cerveau et que normalement c'est notre cerveau qui nous sert à réfléchir, mais bon, si certains ont beoins du cerveau des autres, allons-y).
Voici donc l'encadré sur lequel je demande à Herve25, en tant que médiateur, son approbation, à savoir le
principe du test ABX :
Supposons que Pierre réussisse un test ABX, c'est-à-dire que Pierre identifie correctement 15 fois sur 15, en double-aveugle, deux appareils A et B (15 succès sur 15 tentatives), alors nous pouvons dire avec certitude (plus exactement avec une confiance de 99.997 %) que :
1 - A et B sont différents
2 - Pierre est un auditeur capable d'entendre cette différence
Ces deux assertions sont sûres à 99.997 % (c'est-à-dire que l'on a 0.003% de chance de se tromper), dans le monde réel on peut dire que ces deux assertions sont certaines et indiscutables. De plus elles n'ont rien de subjectif, rien de variable. Elles sont valides (et démontrées).
Commentaires :
- Si le niveau de confiance de 99.997 % n'est pas jugé suffisant pour telle ou telle raison pour garantir la "certitude", le principe du test ABX reste le même, il suffit juste d'augmenter le nombre de succès à réussir à la suite. Par exemple en exigeant 35 identifications correctes sur 35, on arrive à un niveau de confiance de 99.999999997 %, soit un risque d'erreur de 0.000000003 %.
- on suppose ici que le protocole est correct. S'il y a une erreur de protocole (par exemple sur B un effet surround était enclenché par erreur), le principe reste toujours correct, mais la conclusion devrait être : [A] est différent de [B avec surround enclenché]. Cependant comme ce n'était pas ce qu'on voulait tester il faut recommencer le test en corrigeant le protocole (désactiver l'effet surround) de manière à vraiment tester [A] et [B].
- il est intéressant de voir que l'un des deux résultats est indépendant de l'auditeur : "A est différent de B" est prouvé dans l'absolu. C'est intéressant de voir que l'on peut avoir un résultat certain et absolu avec un seul auditeur (c'est pour certains un paradoxe insurmontable quand "l'appareil de mesure" utilisé est un être humain).
- Notons que l'on pouvait connaître ce résultat (A est différent de B) sans avoir besoin de test ABX, par exemple avec des mesures (ex : A à un rapport signal/bruit de 120 dB, alors que B à un rapport signal/bruit de 110 dB). Dans ce cas le test ABX apporte une information moins (ou plus suivant les points de vue) importante : il nous dit que cette différence est audible par au moins un être humain, à savoir Pierre. C'est plus important car on ne savait pas avant si la différence mesurée était audible, mais ça peut être jugé peu utile car pour le moment on sait que c'est audible pour une seule personne (so far).
- Inversement deux appareils pourraient être identiques sur les quelques mesures faites, mais se révéler différents lors d'un test ABX (je ne sais pas si c'est déjà arrivé ou si ça peut arriver) : l'oreille humaine mesurant "d'autres choses" que les mesures physiques.
- L'astuce qui permet d'avoir (en cas de succès au test ABX) deux résultats certains et absolus (les points 1 et 2 de l'encadré) en utilisant un seul être humain comme "appareil de mesure" est la suivante : l'être humain ne sert pas à faire des mesures quantitative mais qualitative, i.e. identifier A ou B en entendant X. Si on avait fait une seule tentative on aurait eu 50% de chance que l'auditeur ait donné la bonne réponse par hasard (l'auditeur a une chance sur deux de donner la bonne réponse). En réitérant les demandes d'identification on divise par 2 à chaque nouveau succès le pourcentage que les identifications aient été dues à la chance ou au hasard*.
- A partir de là il est tout à fait possible de discuter l'intérêt (ou le non-intérêt) des deux informations obtenues suivant les objectifs visés.
- Notons que le test ABX a un intérêt pédagogique pour l'auditeur testé : imaginons que cet auditeur déclare entendre la différence entre A et B en non-aveugle, niveaux égalisés : on lui passe A (il sait que c'est A), on lui passe B (il sait que c'est B) et il entend très bien la différence (sur des extraits courts). De telles choses arrivent tous les jours ("il y a plus de profondeur, plus de densité, plus de délié, plus de transparence", etc). Sans rien changer on ne lui dit plus si on lui passe A ou B. On lui passe donc l'un des deux, X. Puis on lui remet A, on lui remet B et on lui demande : X, c'était lequel ? Rien n'a changé par rapport à tout l'heure. Si l'auditeur n'est plus capable de faire la différence (tout est dans le
"plus" : il
était capable, il n'est
plus capable - le seul changement c'est qu'on lui cache A et B), alors il aura appris beaucoup. Pour lui ça sera plus qu'un ABX échoué duquel on ne peut pas tirer de conclusion. Pour lui, et pour lui seul, ça aura été un sérieux doute sur l'existence des différences entre A et B. Il est probable qu'après le test, en revenant en non-aveugle il n'entende plus les différences qu'il entendait. Cet intérêt pédagogique du test en aveugle est très important à mon avis. Notons que c'est cet effet pédagogique qui est parfois à l'origine du quiproquo entre les personnes ayant échoué à un test ABX et qui acquierent l'intime conviction qu'il n'y a pas de différence entre les appareils A et B qu'ils testaient et ceux qui disent que "mais non on ne peut pas tirer de conclusion d'un ABX raté". Ce n'est pas l'ABX raté qui a emporté l'intime conviction de l'auditeur, c'est la disparition de la différence quand il est passé en aveugle. Ce n'est donc pas une conclusion d'une expérience, c'est moins fort. C'est une intime conviction, valable uniquement pour l'auditeur qui a été testé. Et qui en tant que telle, dans l'absolu, ne vaut pas plus, mais pas moins, que l'intime conviction de celui qui entend des différences entre A et B mais qui n'a jamais fait de test en aveugle. Pour certains, dont moi, cependant, cette intime conviction est plus convaincante. Mais c'est personnel, et je ne peux pas l'imposer. Et c'est une conclusion (A n'est pas différent de B) susceptible encore de changer car liée aux circonstances du test. Souvent on la réduit en : "Finalement A est bien moins différent de B que ce que je pensais, et du diable si j'arrive à trouver un jour une différence entre A et B".
Merci à ceux qui ont lu jusque là, et merci à Herve s'il veut bien donner son aval pour l'encadré.
*Pour simplifier je suppose qu'il n'y a que des succès et que s'il y aun seul échec dans la série on arrête le test : j'imagine un protocole très strict pour simplifier et faciliter la compréhension. Mais il est tout à fait possible de calculer le pourcentage de "certitude" si l'auditeur a, par exemple, fait 33 identifications correctes sur 35.
) (ma conclusion: les différences constatées par l'auditeur dans les conditions du test ne sont pas dues à une relation psychologique auditeur/matériel)
Créé le 15 Sep 2017 21:15
