Test en aveugle

[expertdoc]

Corsario, ne te rends-tu pas compte que nous sommes en train de vivre depuis un an, la Conférence de Valladolid du Monde Audio !

Ha oui, quand on y pense c'est vraiment terrible, quelle injustice, de tels martyrs supportant de tels tourments, des héros, ..... une journée de deuil national peut être in mémoriam ?

[syber]

Le "nous" de ma boutade ne désignait pas Corsario, ni moi, ni les personnes ayant participé à un ABX. C'était un "nous" générique englobant tous les participants à ces débats.

Mon intention dans cette remarque n'est pas de victimiser les personnes ayant participé aux ABX, mais de signifier - ce n'est que mon avis - l'aspect dérisoire que prend finalement cette polémique qui fait "Pschitt".


- Il n'y a finalement pas tant de différences que ça entre deux amplis loyalement conçus dans une logique HiFi et utilisé dans un environnement domestique : la belle affaire que voilà !


Quelle terrible vérité !

[roland_de_lassus]

"Brulez-les tous. Dieu reconnaîtra les siens"

[frgirard]

- Il n'y a finalement pas tant de différences que ça entre deux amplis loyalement conçus dans une logique HiFi et utilisé dans un environnement domestique : la belle affaire que voilà !
Quelle terrible vérité

On en est tous convaincu. (pour les amplis)

Francois

[Denis31]

99% des inscrits HCFR ne sont pas de cet avis (amha).

[JACBRU]

L'ABX est simplement un test parmi bien d'autres méthodes. Il est justifié dans certains cas, pas dans d'autres, pour l'audio comme pour le reste. L'important, c'est le protocole qui l'envisage. Il doit prévoir les conditions en fonction de la variabilité de l'éventuel paramètre subjectif choisi (rappelons qu'on ne peut évaluer qu'un critère de jugement, bien choisi, à la fois).
Maintenant, il faut être très pragmatique et ne pas enfoncer des portes ouvertes. Si la différence à évaluer est évidente, un seul auditeur suffit. Dans ces conditions, faire un test est totalement inutile puisque tout le monde doit être à même de constater cette différence (sinon un seul auditeur n'est pas suffisant). Si la différence est très ténue, comme la différence attendue entre deux câbles secteur, il faut envisager une grande variabilité inter-individuelles des opinions sur une différence, mais aussi intra-individuelle, ainsi que je l'ai expliqué. Il faudra un grand nombre de tests chez de nombreux individus pour dégager une significativité et déceler une différence effective qui sera, pour le compte, forcément extrêmement ténue.

Mais bon sang de bois il n'y a pas d'opinions dans un test ABX. Dans un test en aveugle en général peut-être, mais pas dans un test ABX. Que la différence soit ténue ou non, soit elle est mise en évidence en aveugle (au moins 14 fois sur 15 pour éviter le coup de chance), prouvée, elle EST, soit on ne peut pas la prouver. Et l'intérêt des tests ABX est de pouvoir mettre en évidence, de manière très simple et très pratique pour certaines choses (codecs, sources) des différences. Ou pas.

Question pratique, quel intérêt de remplacer un cordon standard à cinq euros par un cordon de THDG à 1500€ le mètre pour une différence si faible qu'une bonne partie des auditeurs ne l'entendront pas ? Que de bruit pour pratiquement rien entendre !

Il n'y a pas une bonne partie des auditeurs dans mon salon, il y a moi. Si moi j'entends une différence, il y a un intérêt pratique. Ensuite à moi de juger si l'investissement vaut le coup.

L'ABX est simplement un test parmi bien d'autres méthodes. Il est justifié dans certains cas, pas dans d'autres, pour l'audio comme pour le reste. L'important, c'est le protocole qui l'envisage. Il doit prévoir les conditions en fonction de la variabilité de l'éventuel paramètre subjectif choisi (rappelons qu'on ne peut évaluer qu'un critère de jugement, bien choisi, à la fois).
Maintenant, il faut être très pragmatique et ne pas enfoncer des portes ouvertes. Si la différence à évaluer est évidente, un seul auditeur suffit. Dans ces conditions, faire un test est totalement inutile puisque tout le monde doit être à même de constater cette différence (sinon un seul auditeur n'est pas suffisant). Si la différence est très ténue, comme la différence attendue entre deux câbles secteur, il faut envisager une grande variabilité inter-individuelles des opinions sur une différence, mais aussi intra-individuelle, ainsi que je l'ai expliqué. Il faudra un grand nombre de tests chez de nombreux individus pour dégager une significativité et déceler une différence effective qui sera, pour le compte, forcément extrêmement ténue.

Mais bon sang de bois il n'y a pas d'opinions dans un test ABX. Dans un test en aveugle en général peut-être, mais pas dans un test ABX. Que la différence soit ténue ou non, soit elle est mise en évidence en aveugle (au moins 14 fois sur 15 pour éviter le coup de chance), prouvée, elle EST, soit on ne peut pas la prouver. Et l'intérêt des tests ABX est de pouvoir mettre en évidence, de manière très simple et très pratique pour certaines choses (codecs, sources) des différences. Ou pas.

Il n'y a pas d'opinion dans la méthodologie du test, mais chez l'auditeur ! Dans la plupart des cas, à la perception du message sonore, l'auditeur va se poser la question d'une différence, réfléchir sur ce qu'il entend, évaluer, pondérer et puis prendre une position et répondre oui ou non. L'interprétation de ce qu'il a entendu, démarche intime à son psychisme, peut même être différente à chaque écoute. C'est tout à fait démontrable par une série de tests ABX en double aveugle. L'étude ABX sur les cordons secteur qui a été présentée au cours de la discussion le démontre, une dizaine auditeurs participaient et aucune conclusion n'a été tirée. Il y a donc opinion, c'est bien pour cela qu'une variabilité intra-individu et inter-individuelle est possible. Dans d'autres circonstances la comparaison portant sur des mesures objectives, irréfutables, une seule mesure par test ABX serait suffisante pour affirmer qu'il y a ou pas différence. Vous oubliez pratiquement tous le facteur humain, vous sous estimez largement ses conséquences des inévitables hésitations lors de la réflexion intime, non formulées. Il complique les choses. C'est pour cela qu'il faut aller regarder ce qui est fait pour les évaluations en clinique. Que ce soit pour une étude en ORL ou en électro-acoustique, le "cobaye" reste, en général, un bonhomme.

Question pratique, quel intérêt de remplacer un cordon standard à cinq euros par un cordon de THDG à 1500€ le mètre pour une différence si faible qu'une bonne partie des auditeurs ne l'entendront pas ? Que de bruit pour pratiquement rien entendre !

Il n'y a pas une bonne partie des auditeurs dans mon salon, il y a moi. Si moi j'entends une différence, il y a un intérêt pratique. Ensuite à moi de juger si l'investissement vaut le coup.

C'est bien ce que je voulais suggérer, si tu entends une différence et que tu estimes qu'elle justifie la dépense, pas besoin de test ABX pour prendre ta décision. Mais le but d'une étude est de rendre universelle l'opinion d'un seul individu, l'auditeur testeur. C'est impossible sauf en régime totalitaire, vu la variabilité humaine tu en trouveras qui n'entendent pas la différence soit par déficience du système auditif, soit parce qu'ils ont décidé qu'elle est très entachée de doute, soit parce qu'ils sont grincheux à ce moment et qu'ils ont décidé qu'il n'y a pas, pour eux, de différence, vas savoir ? La méthode doit en tenir compte. En tous cas pourquoi leur imposer ton point de vue ?

[Themisto]

Il faut que tu définisses précisément "ce qu'ils prétendent mesurer" et "plusieurs autres choses" car tel quel je (on ?) vois bien que tu as un raisonnement en tête, qui est sans doute intéressant, mais difficile à saisir et donc à réfuter.
Ceci dit personne ne nie qu'il soit éventuellement plus difficile d'ABXer des différences que de les "relever" subjectivement. Ça ne change rien au fond du problème.

Denis, ce que j'ai fait précédemment.
Le test mesure la probabilité qu'un (ou plusieurs) auditeur(s) arrivent à "percevoir" des "différences".
En l'absence d'un élément de définition précis de ce que l'auditeur croit être une différence, et compte tenu du nombre de variables en jeu, le processus inhérent à l'identification elle-même induit une marge d'erreur importante. Cette erreur est indépendante des différences elles-mêmes (quand elles existent) et indépendante de la perception de l'auditeur.
On ne mesure pas la perception des différences, mais l'erreur liée aux processus d'identification de cette perception.
Ce qui empêche le test de réussir.
Et ce qui m'empêche de tirer une conclusion sur la probabilité de l'auditeur de percevoir les différences.
Malgré cela, on tire des conclusions sur la perception. Il est là, à mon sens le soucis. C'est peut-être un détail, peut-être que je m'exprime mal et qu'on dira que je joue sur les mots, mais c'est -pour l'instant- mon opinion sur la situation.

Je ne vais pas recommencer (parce qu'après tout mon intervention ne vise qu'à échanger des points de vue et des réflexions) et je ne voudrais pas focaliser le topic sur ce point.

JACBRU propose un autre point à réfléchir, qui est autrement plus complexe que le mien, je préfère ne pas le "noyer".

[JACBRU]

herve25 a écrit:
Faire une étude avec un nombre de cas insuffisant est une imposture intellectuelle car non seulement, on ne peut rien tirer des résultats mais en plus on fait croire que les résultats sont valides puisqu'on peut les agrémenter de quelques chiffres et quelques pourcentages.
Où est le rapport avec l'ABX audio et la clinique ?
Depuis quand un ABX audio fait par un individiu particulier devrait avoir une valeur universelle valable pour le plus grand nombre ?
L'écoute est un fait privée. les essais cliniques sont des faits publiques. Ce que j'entends m'est propre. L'aspirine doit être efficace pour le plus grand nombre.
Francois

A partir du moment où l'on fait un test c'est dans l'objectif de généraliser et de donner une information pertinente et contrôlée. sinon quel intérêt de tester et d'en parler à n'en plus finir. C'est alors parler pour rien.
Pour toi même tu fais tes écoutes, tu te fais une opinion et tu te prends ta décision, éventuellement d'achat et on n'en parle plus. Si toute cette énergie est déployée pour réaliser un test dans de bonnes conditions, c'est forcément pour obtenir une réponse qui puisse avoir valeur "universelle" pour en parler, sinon quel est l'intérêt de ce ram-dam et cet en... de mouches ? C'est le tout ou rien, ou l'on étudie sérieusement la question ou on passe à autre chose parce qu'il n'y a rien à voir.

[JACBRU]

JACBRU propose un autre point à réfléchir, qui est autrement plus complexe que le mien, je préfère ne pas le "noyer".

Qu'est-ce que tu ne veux pas noyer, le Point ou JACBRU. Pour ce dernier, pas de souci, il sait nager depuis très longtemps ...

[Themisto]

JACBRU propose un autre point à réfléchir, qui est autrement plus complexe que le mien, je préfère ne pas le "noyer".

Qu'est-ce que tu ne veux pas noyer, le Point ou JACBRU. Pour ce dernier, pas de souci, il sait nager depuis très longtemps ...

[frgirard]

99% des inscrits HCFR ne sont pas de cet avis (amha).

j'anticipe

Francois

[frgirard]

herve25 a écrit:
Faire une étude avec un nombre de cas insuffisant est une imposture intellectuelle car non seulement, on ne peut rien tirer des résultats mais en plus on fait croire que les résultats sont valides puisqu'on peut les agrémenter de quelques chiffres et quelques pourcentages.
Où est le rapport avec l'ABX audio et la clinique ?
Depuis quand un ABX audio fait par un individiu particulier devrait avoir une valeur universelle valable pour le plus grand nombre ?
L'écoute est un fait privée. les essais cliniques sont des faits publiques. Ce que j'entends m'est propre. L'aspirine doit être efficace pour le plus grand nombre.
Francois

A partir du moment où l'on fait un test c'est dans l'objectif de généraliser et de donner une information pertinente et contrôlée. sinon quel intérêt de tester et d'en parler à n'en plus finir. C'est alors parler pour rien.
Pour toi même tu fais tes écoutes, tu te fais une opinion et tu te prends ta décision, éventuellement d'achat et on n'en parle plus. Si toute cette énergie est déployée pour réaliser un test dans de bonnes conditions, c'est forcément pour obtenir une réponse qui puisse avoir valeur "universelle" pour en parler, sinon quel est l'intérêt de ce ram-dam et cet en... de mouches ? C'est le tout ou rien, ou l'on étudie sérieusement la question ou on passe à autre chose parce qu'il n'y a rien à voir.

L'universel en hifi se mesure. c'est le rendement, l'impédance ou la distorsion. La sensation d'écoute est privée propre à chacun.
Il y a bien d'autres choses à évoquer en hifi que la sensation à l'écoute d'un produit :

L'acoustique, l'enceinte et leur mariage.
La technique et sa vulgarisation.
Des méthodes d'évaluations fiables des électroniques.

Francois

[corsario]

L'ABX est simplement un test parmi bien d'autres méthodes. Il est justifié dans certains cas, pas dans d'autres, pour l'audio comme pour le reste. L'important, c'est le protocole qui l'envisage. Il doit prévoir les conditions en fonction de la variabilité de l'éventuel paramètre subjectif choisi (rappelons qu'on ne peut évaluer qu'un critère de jugement, bien choisi, à la fois).
Maintenant, il faut être très pragmatique et ne pas enfoncer des portes ouvertes. Si la différence à évaluer est évidente, un seul auditeur suffit. Dans ces conditions, faire un test est totalement inutile puisque tout le monde doit être à même de constater cette différence (sinon un seul auditeur n'est pas suffisant). Si la différence est très ténue, comme la différence attendue entre deux câbles secteur, il faut envisager une grande variabilité inter-individuelles des opinions sur une différence, mais aussi intra-individuelle, ainsi que je l'ai expliqué. Il faudra un grand nombre de tests chez de nombreux individus pour dégager une significativité et déceler une différence effective qui sera, pour le compte, forcément extrêmement ténue.

Mais bon sang de bois il n'y a pas d'opinions dans un test ABX. Dans un test en aveugle en général peut-être, mais pas dans un test ABX. Que la différence soit ténue ou non, soit elle est mise en évidence en aveugle (au moins 14 fois sur 15 pour éviter le coup de chance), prouvée, elle EST, soit on ne peut pas la prouver. Et l'intérêt des tests ABX est de pouvoir mettre en évidence, de manière très simple et très pratique pour certaines choses (codecs, sources) des différences. Ou pas.

Il n'y a pas d'opinion dans la méthodologie du test, mais chez l'auditeur ! Dans la plupart des cas, à la perception du message sonore, l'auditeur va se poser la question d'une différence, réfléchir sur ce qu'il entend, évaluer, pondérer et puis prendre une position et répondre oui ou non.

Non, non et non ! Ce n'est pas ça un test ABX.

L'interprétation de ce qu'il a entendu, démarche intime à son psychisme, peut même être différente à chaque écoute. C'est tout à fait démontrable par une série de tests ABX en double aveugle. L'étude ABX sur les cordons secteur qui a été présentée au cours de la discussion le démontre, une dizaine auditeurs participaient et aucune conclusion n'a été tirée. Il y a donc opinion, c'est bien pour cela qu'une variabilité intra-individu et inter-individuelle est possible. Dans d'autres circonstances la comparaison portant sur des mesures objectives, irréfutables, une seule mesure par test ABX serait suffisante pour affirmer qu'il y a ou pas différence. Vous oubliez pratiquement tous le facteur humain, vous sous estimez largement ses conséquences des inévitables hésitations lors de la réflexion intime, non formulées. Il complique les choses. C'est pour cela qu'il faut aller regarder ce qui est fait pour les évaluations en clinique. Que ce soit pour une étude en ORL ou en électro-acoustique, le "cobaye" reste, en général, un bonhomme.

Il n'y a pas d'opinion chez l'auditeur non plus . On s'en fiche de ses opinions. Soit il réussit le test au moins 14 fois sur 15, soit il ne réussit pas.

==> Est-ce que quelqu'un pourrait expliquer ce qu'est un test ABX en hifi à JACBRU parce que là il n'a pas compris, d'où le quiproquo.

L'auditeur ne va pas répondre oui ou non. 15 fois on va lui faire écouter X (qui sera tiré au hasard entre A et B), et soit il va correctement identifier A et B au moins 14 fois sur 15 (auquel cas la différence est prouvée, pas d'opinion, pas de facteur humain, nibe, que dalle, du solide); soit il va échouer, auquel cas rien n'est prouvé.
Tant que tu n'as pas compris ça, tu n'as rien compris aux tests ABX. Oublie deux secondes tes tests de préférences avec des échantillons de testés, prend du recul, essaye de comprendre de quoi on parle.

Question pratique, quel intérêt de remplacer un cordon standard à cinq euros par un cordon de THDG à 1500€ le mètre pour une différence si faible qu'une bonne partie des auditeurs ne l'entendront pas ? Que de bruit pour pratiquement rien entendre !

Il n'y a pas une bonne partie des auditeurs dans mon salon, il y a moi. Si moi j'entends une différence, il y a un intérêt pratique. Ensuite à moi de juger si l'investissement vaut le coup.

C'est bien ce que je voulais suggérer, si tu entends une différence et que tu estimes qu'elle justifie la dépense, pas besoin de test ABX pour prendre ta décision.

bien sûr que si j'ai besoin de faire un test ABX avant. Sinon comment puis-je être sûr que j'entends réellement la différence ????
Comment puis-je écarter l'hypothèse que ce sont mes sens ou mon cerveau qui m'abusent ???

Mais le but d'une étude est de rendre universelle l'opinion d'un seul individu, l'auditeur testeur. C'est impossible sauf en régime totalitaire, vu la variabilité humaine tu en trouveras qui n'entendent pas la différence soit par déficience du système auditif, soit parce qu'ils ont décidé qu'elle est très entachée de doute, soit parce qu'ils sont grincheux à ce moment et qu'ils ont décidé qu'il n'y a pas, pour eux, de différence, vas savoir ? La méthode doit en tenir compte. En tous cas pourquoi leur imposer ton point de vue ?

Si je réussi le test, le point de vue que j'impose est le suivant : "corsario, être humain, est capable de différencier le système A du système B, sans que cela puisse être attribuable à la chance ou au hasard." Je te laisse en tirer les conclusions.

[herve25]

Encore une fois, le thème de ce file est sur "les tests en aveugle" et non pas sur la procédure ABX. J'ai le droit de parler d'autre chose que de l'ABX sans que l'on me tombe à bras raccourcis. Quand je parle de l'importance du nombre de sujets, je ne fais pas référence à l'ABX (relisez les messages avant de hurler!) mais aux tests comparatifs en général et aux tests de préférence qui sont parfois utilisés lorsqu'il est difficile de quantifier des variables à mesurer.
Dans les bouquins de référence sur le sujet, des chapitres entiers sont consacrés au calcul du nombre de sujets dans une expérimentation. Je vous fais grâce des formules mathématiques, tableaux et algorithmes divers en fonction du type de variable et de la méthodologie et je vous livre une phrase de conclusion du chapitre d'un de ces bouquins:
"if the sample size is too small, no conclusion whatsoever can be drawn as to the equivalence or the equality of the treatmments, although this mistake is often made either explicitly or implicitly..."
Je répondais en particulier là pour ma part à une "expérimentation" dans laquelle la préférence entre deux electroniques (l'une haut de gamme et l'autre bas gamme) n'avait pas été mise en évidence par les participants et je mettais en évidence qu'aucune conclusion ne pouvait être tirée de cette étude du fait du faible nombre de participants.

Contrairement à certains, je ne suis pas obsédé par l'ABX qui comme toute méthode a ses qualités et défauts et dont (avec d'autres) j'ai exposé certaines limites, tout en lui reconnaissant une certaine utilité dans un certain nombre de cas (je ne vais pas me répéter).

Si le but de certains est de faire un file intitulé "gloire à l'ABX", qu'ils le fassent, ils s'autocongratuleront, supprimeront les messages déviants, feront des concours d'ABX et se réuniront tous les 4 ans pour des olympiades.

[roland_de_lassus]

bien sûr que si j'ai besoin de faire un test ABX avant. Sinon comment puis-je être sûr que j'entends réellement la différence ????
Comment puis-je écarter l'hypothèse que ce sont mes sens ou mon cerveau qui m'abusent ???

Alors, le problème est que tu veux valider ton choix en ne te basant que sur un test ABX réussi.

C'est sans doute nécessaire, mais sûrement pas suffisant.