Test en aveugle

[corsario]

bien sûr que si j'ai besoin de faire un test ABX avant. Sinon comment puis-je être sûr que j'entends réellement la différence ????
Comment puis-je écarter l'hypothèse que ce sont mes sens ou mon cerveau qui m'abusent ???

Alors, le problème est que tu ne vas valider ton choix en ne te basant que sur un test ABX réussi.

C'est sans doute nécessaire, mais sûrement pas suffisant.

Mais non, je vais d'abord essayer de le reproduire, puis de le faire reproduire par d'autres, ce n'est pas un problème ça...

[roland_de_lassus]

Mais ce test ABX raté va être bloquant alors...

Et tu vas vouloir lui faire dire ce qu'il n'est pas sensé signifier..
(sais pas si je suis clair, là )

[corsario]

Encore une fois, le thème de ce file est sur "les tests en aveugle" et non pas sur la procédure ABX. J'ai le droit de parler d'autre chose que de l'ABX sans que l'on me tombe à bras raccourcis. Quand je parle de l'importance du nombre de sujets, je ne fais pas référence à l'ABX (relisez les messages avant de hurler!) mais aux tests comparatifs en général et aux tests de préférence qui sont parfois utilisés lorsqu'il est difficile de quantifier des variables à mesurer.

Bien sûr tu peux.

Mais alors quand nous on parle des tests ABX, ce n'est pas la peine de dire "Ah mais oui mais c'est contestable car c'est une opinion, et puis c'est un seul test ça veut rien dire".


Soit on parle de tests en aveugles au sens où tu l'entends, et dans ce cas il est évident qu'il faut un grand nombre de sujets (je te rappelle un message où je parlais de 10000 sujets je crois), donc on est bien d'accord.

Soit on parle de test ABX et là il n'y a plus d'opinion, plus d'échantillon, il s'agit de montrer que l'on peut reconnaitre Danone de Yoplait quand on a enlevé la marque.

Dans les bouquins de référence sur le sujet, des chapitres entiers sont consacrés au calcul du nombre de sujets dans une expérimentation. Je vous fais grâce des formules mathématiques, tableaux et algorithmes divers en fonction du type de variable et de la méthodologie et je vous livre une phrase de conclusion du chapitre d'un de ces bouquins:
"if the sample size is too small, no conclusion whatsoever can be drawn as to the equivalence or the equality of the treatmments, although this mistake is often made either explicitly or implicitly..."

Mais ça c'est une évidence. Ce ne sont pas des stats très compliquées de toutes façons.

Je répondais en particulier là pour ma part à une "expérimentation" dans laquelle la préférence entre deux electroniques (l'une haut de gamme et l'autre bas gamme) n'avait pas été mise en évidence par les participants et je mettais en évidence qu'aucune conclusion ne pouvait être tirée de cette étude du fait du faible nombre de participants.

Personne n'a voulu en tirer de conclusion et surtout pas les participants eux-mêmes
Par contre si une seule personne avait correctement identifié les électroniques 14 fois sur 15, alors on aurait eu une conclusion : Il est possible de différencier ces électroniques en aveugle. Une seule personne aurait suffit.

OK ?

Contrairement à certains, je ne suis pas obsédé par l'ABX qui comme toute méthode a ses qualités et défauts et dont (avec d'autres) j'ai exposé certaines limites, tout en lui reconnaissant une certaine utilité dans un certain nombre de cas (je ne vais pas me répéter).

Si le but de certains est de faire un file intitulé "gloire à l'ABX", qu'ils le fassent, ils s'autocongratuleront, supprimeront les messages déviants, feront des concours d'ABX et se réuniront tous les 4 ans pour des olympiades.

Le but de ce fil est de parler clairement. Et il me semble que JACBRU et toi avez entretenu une certaine confusion du genre :

"les tests ABX, oui mais dans les tests en aveugle il faut beaucoup de participants, sinon c'est biaisé, complêtement subjectif."

Comme tu viens de le faire encore une fois dans ta vision du tests d'électronique que tu relates ci-dessus : contrairement à ce que tu dis, le nombre de participants est complètement indifférent dans ce genre d'étude (mais c'est plus sympa à plusieurs, et celui qui réussit - s'il y en a un - peut amener les autres à réussir à leur tour).

[corsario]

Mais ce test ABX raté va être bloquant alors...

Et tu vas vouloir lui faire dire ce qu'il n'est pas sensé signifier..
(sais pas si je suis clair, là )

Est-ce que le test a été raté parce que l'égalisation des niveaux a fait disparaître les différences (et a donc fait disparaître la nécessité du test même) ou est-ce qu'il a été raté alors qu'en A/B à niveaux égalisés on entend toujours la différence ?

C'est complètement différent.

S'il y avait un seul enseignement à tirer de ces pages ça serait celui-ci :

1) pour comparer deux systèmes A et B égalisez d'abord les niveaux sur du bruit rose
2) si après cette étape vous entendez une différence entre A et B, essayez dans la mesure du possible de reconnaître A et B en aveugle pour être sûr que cette différence n'est pas imaginaire.

Bon, d'accord, ça fait deux enseignements...

[JACBRU]

Encore une fois, le thème de ce file est sur "les tests en aveugle" et non pas sur la procédure ABX. J'ai le droit de parler d'autre chose que de l'ABX sans que l'on me tombe à bras raccourcis. Quand je parle de l'importance du nombre de sujets, je ne fais pas référence à l'ABX (relisez les messages avant de hurler!) mais aux tests comparatifs en général et aux tests de préférence qui sont parfois utilisés lorsqu'il est difficile de quantifier des variables à mesurer.
Dans les bouquins de référence sur le sujet, des chapitres entiers sont consacrés au calcul du nombre de sujets dans une expérimentation. Je vous fais grâce des formules mathématiques, tableaux et algorithmes divers en fonction du type de variable et de la méthodologie et je vous livre une phrase de conclusion du chapitre d'un de ces bouquins:
"if the sample size is too small, no conclusion whatsoever can be drawn as to the equivalence or the equality of the treatmments, although this mistake is often made either explicitly or implicitly..."
Je répondais en particulier là pour ma part à une "expérimentation" dans laquelle la préférence entre deux electroniques (l'une haut de gamme et l'autre bas gamme) n'avait pas été mise en évidence par les participants et je mettais en évidence qu'aucune conclusion ne pouvait être tirée de cette étude du fait du faible nombre de participants.

Contrairement à certains, je ne suis pas obsédé par l'ABX qui comme toute méthode a ses qualités et défauts et dont (avec d'autres) j'ai exposé certaines limites, tout en lui reconnaissant une certaine utilité dans un certain nombre de cas (je ne vais pas me répéter).

Si le but de certains est de faire un file intitulé "gloire à l'ABX", qu'ils le fassent, ils s'autocongratuleront, supprimeront les messages déviants, feront des concours d'ABX et se réuniront tous les 4 ans pour des olympiades.

Merci, je ne m'exprimerais pas autrement.
Pour le reste je jette l'éponge, certains devraient s'informer un peu avant de se faire experts dans un domaine beaucoup plus complexe qu'ils ne l'imaginent. On ne pourra causer de choses concrètes qu'après cette remise à niveau.

[JACBRU]

Mais ce test ABX raté va être bloquant alors...
Et tu vas vouloir lui faire dire ce qu'il n'est pas sensé signifier..
(sais pas si je suis clair, là )

Est-ce que le test a été raté parce que l'égalisation des niveaux a fait disparaître les différences (et a donc fait disparaître la nécessité du test même) ou est-ce qu'il a été raté alors qu'en A/B à niveaux égalisés on entend toujours la différence ?
C'est complètement différent.
S'il y avait un seul enseignement à tirer de ces pages ça serait celui-ci :
1) pour comparer deux systèmes A et B égalisez d'abord les niveaux sur du bruit rose
2) si après cette étape vous entendez une différence entre A et B, essayez dans la mesure du possible de reconnaître A et B en aveugle pour être sûr que cette différence n'est pas imaginaire.
Bon, d'accord, ça fait deux enseignements...

Seulement deux ? S'il n'y avait que ces seules conditions préalables !

[corsario]

Encore une fois, le thème de ce file est sur "les tests en aveugle" et non pas sur la procédure ABX. J'ai le droit de parler d'autre chose que de l'ABX sans que l'on me tombe à bras raccourcis. Quand je parle de l'importance du nombre de sujets, je ne fais pas référence à l'ABX (relisez les messages avant de hurler!) mais aux tests comparatifs en général et aux tests de préférence qui sont parfois utilisés lorsqu'il est difficile de quantifier des variables à mesurer.
Dans les bouquins de référence sur le sujet, des chapitres entiers sont consacrés au calcul du nombre de sujets dans une expérimentation. Je vous fais grâce des formules mathématiques, tableaux et algorithmes divers en fonction du type de variable et de la méthodologie et je vous livre une phrase de conclusion du chapitre d'un de ces bouquins:
"if the sample size is too small, no conclusion whatsoever can be drawn as to the equivalence or the equality of the treatmments, although this mistake is often made either explicitly or implicitly..."
Je répondais en particulier là pour ma part à une "expérimentation" dans laquelle la préférence entre deux electroniques (l'une haut de gamme et l'autre bas gamme) n'avait pas été mise en évidence par les participants et je mettais en évidence qu'aucune conclusion ne pouvait être tirée de cette étude du fait du faible nombre de participants.

Contrairement à certains, je ne suis pas obsédé par l'ABX qui comme toute méthode a ses qualités et défauts et dont (avec d'autres) j'ai exposé certaines limites, tout en lui reconnaissant une certaine utilité dans un certain nombre de cas (je ne vais pas me répéter).

Si le but de certains est de faire un file intitulé "gloire à l'ABX", qu'ils le fassent, ils s'autocongratuleront, supprimeront les messages déviants, feront des concours d'ABX et se réuniront tous les 4 ans pour des olympiades.

Merci, je ne m'exprimerais pas autrement.
Pour le reste je jette l'éponge, certains devraient s'informer un peu avant de se faire experts dans un domaine beaucoup plus complexe qu'ils ne l'imaginent. On ne pourra causer de choses concrètes qu'après cette remise à niveau.

Ah, ah, ah....
D'après toi on ne fait pas de stats en biologie ? On ne fait pas de plans d'expérience ? Des stats paramétriques et non paramétriques ? Tu penses qu'on oublie de calculer la condition de puissance d'un test avant l'expérience ? Tu penses qu'on ne réfléchit pas pour savoir si on va faire un test de Bonferroni, Fischer ou Tukey ?
Si, si, si, on fait tout ça, et ça nous éclate même

Mais ça n'empêche pas de savoir reconnaître quand un cas est super simple, comme le test ABX en hifi pour prouver une différence...

Tu arrives avec tes certitudes et tu assènes tes livres. Et quand on t'apporte la contradiction et des arguments tu t'en vas en disant que de toutes façon on n'y connait rien. Mais si, si, si, on s'y connait

[corsario]

Mais ce test ABX raté va être bloquant alors...
Et tu vas vouloir lui faire dire ce qu'il n'est pas sensé signifier..
(sais pas si je suis clair, là )

Est-ce que le test a été raté parce que l'égalisation des niveaux a fait disparaître les différences (et a donc fait disparaître la nécessité du test même) ou est-ce qu'il a été raté alors qu'en A/B à niveaux égalisés on entend toujours la différence ?
C'est complètement différent.
S'il y avait un seul enseignement à tirer de ces pages ça serait celui-ci :

1) pour comparer deux systèmes A et B égalisez d'abord les niveaux sur du bruit rose
2) si après cette étape vous entendez une différence entre A et B, essayez dans la mesure du possible de reconnaître A et B en aveugle pour être sûr que cette différence n'est pas imaginaire.

Bon, d'accord, ça fait deux enseignements...

Seulement deux ? S'il n'y avait que ces seules conditions préalables !

Ce ne sont pas des conditions, ce sont des enseignements, autrement dit des conseils pour des gens qui débutent (ou pas) dans la hifi et dans le choix de leur matériel.

Mais si tu as d'autres conseils à prodiguer aux gens qui veulent comparer pour choisir leur matériel, vas-y...

[Pio2001]

Encore une fois, le thème de ce file est sur "les tests en aveugle" et non pas sur la procédure ABX. J'ai le droit de parler d'autre chose que de l'ABX sans que l'on me tombe à bras raccourcis.

En audio, les tests en aveugle sont majoritairement ABX (Kangourous, tests individuels sur fichiers audio...). Certains sont faits en ABC/HR (tests d'évaluation de codecs par R.Amorim et S.Mares). On trouve pas mal d'anecdotes de "tests menteurs", où un auditeur croit qu'il écoute une source alors que c'en est une autre, mais ce n'est pas un protocole que l'on peut organiser sur demande. Et il y en a aussi pas mal qui sont des tests de choix voisins de l'ABX, comme l'espèce de A/XYZ (un câble connu, trois cachés) de Kiang sur les câbles secteurs. Certains de ceux là, ainsi que les ABC/HR, sont faits en cumulant les réponses de plusieurs auditeurs à une question unique. C'est à cette catégorie que peut s'appliquer vos interventions, Jacbru et Herve25, à condition de définir au préalable la question à laquelle l'étude est censée répondre.

En hifi, partant de la divergence constatée entre écoutes et mesures, on se demande si c'est l'écoute qui dépasse les capacités de la mesure, ou si ce qu'on entend est imaginaire.

Etant donné d'une part que les points que vous abordez concernent une minorité de tests, et d'autre part que vous ne les abordez pas selon l'angle de la question que l'on se pose en hifi, ne vous étonnez pas de ne pas recevoir beaucoup d'écho : les critiques, constructives, que vous donnez ne s'appliquent qu'à environ un ou deux tests sur la centaine répertoriée ici en comptant les liens indirects.

[syber]

Mais ce test ABX raté va être bloquant alors...
Et tu vas vouloir lui faire dire ce qu'il n'est pas sensé signifier..
(sais pas si je suis clair, là )

Est-ce que le test a été raté parce que l'égalisation des niveaux a fait disparaître les différences (et a donc fait disparaître la nécessité du test même) ou est-ce qu'il a été raté alors qu'en A/B à niveaux égalisés on entend toujours la différence ?
C'est complètement différent.
S'il y avait un seul enseignement à tirer de ces pages ça serait celui-ci :
1) pour comparer deux systèmes A et B égalisez d'abord les niveaux sur du bruit rose
2) si après cette étape vous entendez une différence entre A et B, essayez dans la mesure du possible de reconnaître A et B en aveugle pour être sûr que cette différence n'est pas imaginaire.
Bon, d'accord, ça fait deux enseignements...

Seulement deux ? S'il n'y avait que ces seules conditions préalables !

Comment voulez-vous que l'on se comprenne !?

L'un parle des enseignements qu'il tire de sa pratique des ABX. On lui répond en amalgamant enseignements et conditions préalables ...

[frgirard]

Encore une fois, le thème de ce file est sur "les tests en aveugle" et non pas sur la procédure ABX. J'ai le droit de parler d'autre chose que de l'ABX sans que l'on me tombe à bras raccourcis.

La victimisation a des limites.

Tu parles de tests en aveugle. Peut-on avoir un exemple succint ?

Francois

[corsario]

Encore une fois, le thème de ce file est sur "les tests en aveugle" et non pas sur la procédure ABX. J'ai le droit de parler d'autre chose que de l'ABX sans que l'on me tombe à bras raccourcis.

La victimisation a des limites.

Tu parles de tests en aveugle. Peut-on avoir un exemple succint ?

Il a donné des exemples très clair le 6 octobre ici-même :

http://www.homecinema-fr.com/forum/viewtopic.php?p=173119558#p173119558

[frgirard]

Encore une fois, le thème de ce file est sur "les tests en aveugle" et non pas sur la procédure ABX. J'ai le droit de parler d'autre chose que de l'ABX sans que l'on me tombe à bras raccourcis.

La victimisation a des limites.

Tu parles de tests en aveugle. Peut-on avoir un exemple succint ?

Il a donné des exemples très clair le 6 octobre ici-même :

http://www.homecinema-fr.com/forum/viewtopic.php?p=173119558#p173119558

merci.

Je l'avais pas lu celle-là :

>>Pour revenir aux tests ABX, s'il s'agit de prouver une différence, je ne vois pas à quels biais méthodologiques font ou ont fait allusion
>>Expertdoc, JACBRU et fgirard (je ne sais pas si ce dernier a retourné sa veste depuis )

Je ne mets jamais de veste et ne la retoune jamais. C'est de la hifi, les combats idéologiques ça va un tout petit peu "histoire de" mais aprés il faut passer à autre chose. En ce moment j'ai l'uncus en hibernation.

Je suis l'un des rares audiophiles à écouter ses amplis en aveugle total. Je ne connais pas leur marque et ils sont cachés dans les enceintes.

Francois

[corsario]

Je l'avais pas lu celle-là :

>>Pour revenir aux tests ABX, s'il s'agit de prouver une différence, je ne vois pas à quels biais méthodologiques font ou ont fait allusion
>>Expertdoc, JACBRU et fgirard (je ne sais pas si ce dernier a retourné sa veste depuis )

Je ne mets jamais de veste et ne la retoune jamais. C'est de la hifi, les combats idéologiques ça va un tout petit peu "histoire de" mais aprés il faut passer à autre chose.

C'est cela oui

Excuse mais je ne te cites pas, ce n'est que ma maigre expérience en audio et mes quelques petite connaissances en physio et neurologie. Connaissances de charlot pour reprendre un éminent scientifique qui me font penser qu'un individu normal ne peut réussir un ABX.

Egalement ma trés longue pratique à un trés bon niveau de l'escalade où le subjectif doit être maîtrisé ou exacerbé à un niveau qui n'a rien à voir avec l'audio.

http://www.homecinema-fr.com/forum/viewtopic.php?p=172326985#p172326985 (décembre 2008)

je nie l'effet placebo. tu es médecin. tu sais ce qu'est l'effet placébo, dans quel champ il s'exerce et ce qu'il traduit. rien de tel en hifi

Par contre, l'instabilité et la subjectivité de la perception auditive, la non volonté de faire un protocol simple de test (pas d'ABX, je n'y crois pas non plus) fait et l'hyper-egotrophie audiophilesque que n'importe quoi peut te faire entendre des différences.

http://www.homecinema-fr.com/forum/viewtopic.php?p=172571307#p172571307 (février 2009)

Je résume mes propos réelles ou imaginaire :

Pour moi l'abx musical ne peut réussir pour :
- Multimodalité des sens (Meredith & Stein).
- Impacte émotionelle de la musique avec une influence sous cortical demontrée.
- Capacité de la mémoire en regard de la complexité du contenut d'un message musical.

+
- Méthodologie d'écoute de l'auditeur
- La culture

Les trois premiéres raisons n'empêchent en rien la réussite d'un ABX sonore (a-musique)

http://www.homecinema-fr.com/forum/viewtopic.php?p=172917827#p172917827 (juillet 2009)


(c'est moi qui souligne)

Et donc je ne sais pas si tu as retourné ta veste depuis, c'est-à-dire si tu maintiens aujourd'hui que "toutes ces raisons" sont des biais méthodologiques aux tests ABX, ou pas. Il me semblait que tu avais évolué. D'où ma question.

[herve25]

A Corsario et d'autres

J'aimerais que quand Corsario prétend me citer, qu'il ne me fasse pas dire ou écrire des choses que je n'ai jamais dites ou écrites. Ce serait la moindre des choses. Par ailleurs, je ne me permettrais jamais de contester ses connaissances des tests utilisés en biologie ou agronomie; Cela n'est pas le propos.

Je prétends mais- j'ai peut-être tort- que dans mon domaine de compétence (méthodologie et essais cliniques dans le domaine de la psychiatrie et de la douleur), on a à se confronter dans le cadre des études à des problèmes où le subjectif et le non quantitatif sont particulièrement importants et difficiles à évaluer et qu'on peut y trouver une certaine analogie avec les tests en audio. Il peut parfois être utile d'emprunter des méthodes (ce qui ne signifie pas les dupliquer) qui sont utilisées dans d'autres disciplines qui sont confrontées à des difficultés du même ordre; A partir de là, j'ai essayé de proposer des pistes de reflexion qui ne se cantonnent pas à l'ABX.
Quant à celui qui dit que le calcul du nombre de sujets est un sujet qui répond à des règles statistiques simples, il est soit particulièrement brillant soit je suis un imbécile (l'un d'ailleurs n'empêchant pas l'autre)