Test en aveugle

[Denis31]

Un seul auditeur, je peux citer au moins un journaliste qui voit une différence, tu lui fais faire le test ABX et il l'entendra

Malgré tout JACBRU, tu devrais te renseigner sur ce qu'est l'ABX en audio... Bien qu'il n'existe pas d'ouvrage de référence, l'apprentissage se fait en naviguant de ci de là... bonne lecture; OU BIEN MIEUX en participant à un test.

[ohl]

Un seul auditeur, je peux citer au moins un journaliste qui voit une différence, tu lui fais faire le test ABX et il l'entendra

chiche !!!

[JACBRU]

+ 1 avec Pio et Ohl
Dans l'ABX audio, on se borne, sauf erreur, à tenter de valider un évènement auparavant constaté et jugé significatif par celui qui l'a constaté.
Le sujet de ce fil, à mon avis, est de savoir si l'ABX, pratiqué selon ce "cahier des charges" est (1) une méthode valable, (2) correctement pratiquée et (3) s'il existe des alternatives.
Dans les tests pharmacologiques on évalue (entre autres), le risque d"effets indésirables. l'idéal pour le Labo qui teste sa molécule est donc qu'il n'y en ait pas (ou très peu) qui soit grave. La population testée est, si j'ai bien compris, appréciée notamment par sa pertinence et la taille de l'échantillon, lesquels conditionnent la fiabilité d'un test dont l'un des objectifs est, autant que possible, de caractériser un non évènement.
Ce n'est pas du tout ce qu'on fait en ABX audio puisqu'on a globalement abandonné l'idée que des tests négatifs signifieraient ipso facto l'absence de différence audible (faute en particulier de pouvoir l'apprécier sur un échantillon satisfaisant), ou on se désinteresse qu'un mec sur 10.000 seulement puisse d'entendre ce que 9999 autes n'entendront pas (*).
Il y a alors, j'imagine, de moindres contraintes méthodologiques, non ?
(*) me rappelle Antoine Goléa, critique musical mort aujourd'hui (enfin je crois ) qui détestait les interpréations sur instruments anciens et diapason dit "baroque" au motif qu'il avait l'oreille absolue et ne pouvait rien supporter que le diapason moderne (ce qui est une sottise car on peut très bien avoir l'oreille absolue et écouter selon divers diapasons). Mais de toute façon, qu'est ce qu'on en avait à faire d'une particularité que ce type ne partageait qu'avec une personne sur 10.000 ???

Non, pourquoi de moindre contrainte méthodologique, pourquoi tant d'efforts pour obtenir un résultat qui n'a aucune signification ? Je suis simplement pragmatique, j'essaie d'expliquer comment faire pour répondre a de simples questions que tout le monde se pose. je constate que ce qui est publié ne peut pas être pris en compte par manque de rigueur. Plus la différence à évaluer est subtile, plus il faut de la rigueur. Je le rappelle le test ABX est un outil parmi beaucoup d'autres. L'important c'est la stratégie statistique élaborée en fonction de la question posée et d'elle seule.

Pour l'évaluation des effets secondaire, c'est beaucoup plus complexe que tu le dis, j'ai dirigé le service de pharmacovigilance d'un grand labo pharmaceutique, je suis un peu au courant du sujet.

Enfin, qu'un médicament ou un composant électro-acoustique soit en cause, les méthodes statistiques d'évaluation sont les mêmes. Surtout qu'il 'agit généralement d'évaluation d'appréciations subjectives dans les deux cas.

[ohl]

Surtout qu'il 'agit généralement d'évaluation d'appréciations subjectives dans les deux cas.

mais il n'y a pas d'évaluation subjective en ABX audio !
C'est oui ou non : on n'entend une différence (statistiquement établie) ou on ne l'entend pas. C'est tout.
Et c'est pas compliqué...Que tu ai dirigé un service d'un labo n'y change pas grand chose : il faut sans doute avoir fait au moins un ABX audio pour le comprendre.

[JACBRU]

- que la majorité de la population l'entende ou pas, que ce soit subtil ou pas, c'est égal : un seul auditeur qui réussit le test suffit à démontrer qu'il existe une différence audible

C'est là que je ne suis pas d'accord, l'homme étant ce qu'il est, un auditeur peut à un moment donné percevoir une différence qui n'existe pas dans la réalité. cela ne suffira pas à conclure que cette différence existe.
C'est pareil pour les médicaments, dans les études on évalue pas directement le médicament, mais des symptômes, par exemple l'existence ou pas d'une douleur ou de toute autre perception. Elle peut même être auditive. Il n'y a donc absolument aucune différence méthodologique avec le domaine de l'audio que d'ailleurs je fréquente assidument depuis 45 ans !
Nous sommes en présence de phénomènes dont la perception est variable. Effectivement, si elle ne l'était pas un seul test ABX serait suffisant, mais dans ce cas tout le monde devrait entendre la même chose. malheureusement surdité et hypoacousie, cela existe, sans compter de nombreuses particularités neurologiques.
Je l'ai dit au début de mes interventions je n'ai pas lu tout le post et j'interviens tard. Mais je veux simplement faire comprendre que l'homme n'est pas aussi cartésien qu'on le dit. Je dis toujours qu'en biologie 2+2 ne fait pas toujours 4, mais parfois 0, 1, 2, 3, 4, et parfois plus. mais en moyenne et avec un intervalle de confiance de tant, c'est égal à quatre. Vous devez tenir compte de la subjectivité de votre évaluateur.

[wembley]

ok, on va remplacer l'évaluateur par un robot.

[JACBRU]

Surtout qu'il 'agit généralement d'évaluation d'appréciations subjectives dans les deux cas.

mais il n'y a pas d'évaluation subjective en ABX audio !
C'est oui ou non : on n'entend une différence (statistiquement établie) ou on ne l'entend pas. C'est tout.
Et c'est pas compliqué...Que tu ai dirigé un service d'un labo n'y change pas grand chose : il faut sans doute avoir fait au moins un ABX audio pour le comprendre.

Mais j'ai très bien compris dans la théorie tu dis vrai, mais dans la pratique les choses ne sont pas absolues. je n'ai jamais vu, lorsque les réponses données par un "cabaye" sont subjectives que l'on ne se contente que d'une mesure. C'est simplement une question de méthodologie !
Au moins, il faut vérifier que le testeur n'est pas sourd.

[wembley]

Je dis toujours qu'en biologie 2+2 ne fait pas toujours 4, mais parfois 0, 1, 2, 3, 4, et parfois plus.

C'est vrai ça, par exemple si tu demandes à Ohl combien font 2 + 2 (en binaire) il te répondra 100, et si tu demandes combien font "deux"+"deux" ce sera encore différent ("deuxdeux" probablement).

[ohl]

Mais j'ai très bien compris dans la théorie tu dis vrai, mais dans la pratique les choses ne sont pas absolues. je n'ai jamais vu, lorsque les réponses données par un "cabaye" sont subjectives que l'on ne se contente que d'une mesure. C'est simplement une question de méthodologie !
Au moins, il faut vérifier que le testeur n'est pas sourd.

Il me semble pourtant que tu n'as rien compris...
On ne fait pas une seule mesure puisque l'on demande à l'auditeur de répondre 15 fois (par exemple) pour avoir un nombre de réponses suffisant afin que la probabilité d'erreur soit assez basse. Renseigne-toi peut-être d'abord sur la méthodologie adoptée, demande à Pio2001 ou lis-ça : http://www.provide.net/~djcarlst/abx_p9.htm
plein d'infos aussi sur http://chaud7.forumactif.fr/tests-abx-f8/post-it-annuaire-des-tests-abx-t5.htm
ou essaye toi-même
http://www.kikeg.arrakis.es/winabx/
http://ff123.net/abchr/abchr.html

2 + 2 (en binaire) = 100

2 en binaire, il y a comme un schmull

[Pio2001]

je constate que ce qui est publié ne peut pas être pris en compte par manque de rigueur. Plus la différence à évaluer est subtile, plus il faut de la rigueur. Je le rappelle le test ABX est un outil parmi beaucoup d'autres. L'important c'est la stratégie statistique élaborée en fonction de la question posée et d'elle seule.

Pour l'instant, tu n'as indiqué aucun point susceptible de manquer de rigueur, envisagé aucune question posée lors d'un test, ni aucune stratégie correspondante...

[wald]

Je reconnais être relativement déconcerté par ces affirmations un peu péremptoires et presque contradictoires, qui en tout cas qui laissent sur sa faim.

Dire d'un coté par exemple :

Dans ce contexte les évaluations de différences sont pratiques courantes, puisqu'il est recommandé d'avoir au moins un groupe témoin (placebo ou traitement de référence) pour savoir sil existe une différence significative sur la question ciblée posée. Dans ce cadre la méthodologie adoptée dépend du contexte. Il n'y a aucune raison de procéder autrement pour évaluer un critère de perception auditive. L'étude de sons provenant d'un système électro-acoustique se fait bien dans ce cadre. Que je sache les études en ORL ou en neurophysiologie utilisent beaucoup des stimuli produit par des appareils électronique et transmis par des enceintes ou des casques.

et de l'autre :

Nous sommes en présence de phénomènes dont la perception est variable. Effectivement, si elle ne l'était pas un seul test ABX serait suffisant, mais dans ce cas tout le monde devrait entendre la même chose. malheureusement surdité et hypoacousie, cela existe, sans compter de nombreuses particularités neurologiques. Je l'ai dit au début de mes interventions je n'ai pas lu tout le post et j'interviens tard. Mais je veux simplement faire comprendre que l'homme n'est pas aussi cartésien qu'on le dit. Je dis toujours qu'en biologie 2+2 ne fait pas toujours 4, mais parfois 0, 1, 2, 3, 4, et parfois plus. mais en moyenne et avec un intervalle de confiance de tant, c'est égal à quatre. Vous devez tenir compte de la subjectivité de votre évaluateur.

laisse entrendre que la validité d'une étude en aveugle des différences ressenties serait admise (on n'en attendait pas moins d'un praticien mais il fallait le rappeler), mais que l'ABX audio tel que pratiqué serait invalide faute de prise en compte, par exemple, du paramètre de subjectivité.

Sur ce point précis et pour nuancer Ohl, peut être un peu abrupt sur cette observation (désolé oh mon bon maître, c'est pour la cause * ), la subjectivité de l'auditeur n'est, il me semble, nullement ignorée mais traitée statistiquement. S'il identifie 14 fois/15 tentatives consécutives A et/ou B, la chance qu'il ait répondu par hasard est très faible (mais non nulle, on est d'accord). Un fil HCFR dont j'ai perdu la référence évaluait les aspects purement statistiques. Les ABX audio s'efforcent aussi, avec peut être plus ou moins de bonheur, de traiter les autres paramètres identifiés. Est ce bien fait ? Est ce suffisant ? Je n'en sais rien mais ça m'intéresse carrément et c'est ce qui est au coeur de ce fil.

Par parenthèse, bien sur que j'ai simplifié la question de la recherche des effets secondaires en phase II, d'une part parce que ce n'est pas mon métier (même si j'ai eu à travailler sur la responsabilité d'un labo au regard de la Loi huriet) ; d'autre part parce c'est un forum et non une conférence sur cette question ; mais aussi parce que ce que je voulais surtout dire que L'ABX audio ne s'attache qu'à la validation d'un évènement constaté et jugé significatif par celui qui va être testé, ce qui est - justement - bien moins complexe qu'une étude de phase II. J'imaginais qu'on pouvait préjuger que les contraintes méthodologiques serait moindres du fait de la simplicité de la problématique Je me trompe sans doute mais alors, concrètement, qu'est ce qu'il faudrait faire pour mette utilement en oeuvre un ABX audio et pourquoi les ABX audio publiés n'apprennent rien d'utile ?

(*) pour ceux qui sont persuadé qu'il y a une croisade, des croisés, des fidèles et des infidèles, il ne s'agit que d'un modeste trait d'humour tendance auto-dérision.

[JACBRU]

Mais j'ai très bien compris dans la théorie tu dis vrai, mais dans la pratique les choses ne sont pas absolues. je n'ai jamais vu, lorsque les réponses données par un "cabaye" sont subjectives que l'on ne se contente que d'une mesure. C'est simplement une question de méthodologie !
Au moins, il faut vérifier que le testeur n'est pas sourd.

Il me semble pourtant que tu n'as rien compris...
On ne fait pas une seule mesure puisque l'on demande à l'auditeur de répondre 15 fois (par exemple) pour avoir un nombre de réponses suffisant afin que la probabilité d'erreur soit assez basse. Renseigne-toi peut-être d'abord sur la méthodologie adoptée, demande à Pio2001 ou lis-ça : http://www.provide.net/~djcarlst/abx_p9.htm
plein d'infos aussi sur http://chaud7.forumactif.fr/tests-abx-f8/post-it-annuaire-des-tests-abx-t5.htm
ou essaye toi-même
http://www.kikeg.arrakis.es/winabx/
http://ff123.net/abchr/abchr.html

2 + 2 (en binaire) = 100

2 en binaire, il y a comme un schmull

Encore une fois j'ai compris et je veux mettre le doigt sur des biais possibles de la méthode telle qu'elle est appliquée, en particulier les problèmes possibles dus à la spécificité de l'auditeur sélectionné et de la variabilité inter-auditeurs. J'exagère peut être , mais si tu fais quinze fois le même test chez un auditeur sourd ou, au moins, hypoacousique, il risque de ne pas discerner les différences qui peuvent objectivement exister.
je savais que j'allais provoquer des remous.
Nos points de vu sont différents simplement parce que nous ne parlons pas de la même chose. D'une part il y a la réalité statistique, d'autre part la réalité de l'application de la théorie à l'humain. Il faut tenir compte des deux. La méthode ABX peut s'appliquer à un seul auditeur ou à plusieurs. Je prétend, vu la diversité humaine qu'il faut toujours appliquer un test à plusieurs personnes, une ou plusieurs fois selon la question ou le protocole envisagé.

Mon but n'est pas précisément la critique de l'un ou l'autre test, mais plus généralement de montrer que la connaissance des conditions d'applications est très importante pour analyser la signification des résultats. Cela m'énerve depuis longtemps de tenir pour argent content les résultats d'études dites rigoureuses qui ne le sont pas du tout parce qu'elles oublient le facteur humain. L'auditeur est généralement un humanoïde que je sache ! Franchement des conclusions valables pour une étude réalisée sur une seule personne, je n'en ai jamais vues lorsque le subjectif est en cause.

[JACBRU]

Je reconnais être relativement déconcerté par ces affirmations un peu péremptoires et presque contradictoires, qui en tout cas qui laissent sur sa faim.

Dire d'un coté par exemple :

Dans ce contexte les évaluations de différences sont pratiques courantes, puisqu'il est recommandé d'avoir au moins un groupe témoin (placebo ou traitement de référence) pour savoir sil existe une différence significative sur la question ciblée posée. Dans ce cadre la méthodologie adoptée dépend du contexte. Il n'y a aucune raison de procéder autrement pour évaluer un critère de perception auditive. L'étude de sons provenant d'un système électro-acoustique se fait bien dans ce cadre. Que je sache les études en ORL ou en neurophysiologie utilisent beaucoup des stimuli produit par des appareils électronique et transmis par des enceintes ou des casques.

et de l'autre :

Nous sommes en présence de phénomènes dont la perception est variable. Effectivement, si elle ne l'était pas un seul test ABX serait suffisant, mais dans ce cas tout le monde devrait entendre la même chose. malheureusement surdité et hypoacousie, cela existe, sans compter de nombreuses particularités neurologiques. Je l'ai dit au début de mes interventions je n'ai pas lu tout le post et j'interviens tard. Mais je veux simplement faire comprendre que l'homme n'est pas aussi cartésien qu'on le dit. Je dis toujours qu'en biologie 2+2 ne fait pas toujours 4, mais parfois 0, 1, 2, 3, 4, et parfois plus. mais en moyenne et avec un intervalle de confiance de tant, c'est égal à quatre. Vous devez tenir compte de la subjectivité de votre évaluateur.

laisse entrendre que la validité d'une étude en aveugle des différences ressenties serait admise (on n'en attendait pas moins d'un praticien mais il fallait le rappeler), mais que l'ABX audio tel que pratiqué serait invalide faute de prise en compte, par exemple, du paramètre de subjectivité.

Sur ce point précis et pour nuancer Ohl, peut être un peu abrupt sur cette observation (désolé oh mon bon maître, c'est pour la cause * ), la subjectivité de l'auditeur n'est, il me semble, nullement ignorée mais traitée statistiquement. S'il identifie 14 fois/15 tentatives consécutives A et/ou B, la chance qu'il ait répondu par hasard est très faible (mais non nulle, on est d'accord). Un fil HCFR dont j'ai perdu la référence évaluait les aspects purement statistiques. Les ABX audio s'efforcent aussi, avec peut être plus ou moins de bonheur, de traiter les autres paramètres identifiés. Est ce bien fait ? Est ce suffisant ? Je n'en sais rien mais ça m'intéresse carrément et c'est ce qui est au coeur de ce fil.

Par parenthèse, bien sur que j'ai simplifié la question de la recherche des effets secondaires en phase II, d'une part parce que ce n'est pas mon métier (même si j'ai eu à travailler sur la responsabilité d'un labo au regard de la Loi huriet) ; d'autre part parce c'est un forum et non une conférence sur cette question ; mais aussi parce que ce que je voulais surtout dire que L'ABX audio ne s'attache qu'à la validation d'un évènement constaté et jugé significatif par celui qui va être testé, ce qui est - justement - bien moins complexe qu'une étude de phase II. J'imaginais qu'on pouvait préjuger que les contraintes méthodologiques serait moindres du fait de la simplicité de la problématique Je me trompe sans doute mais alors, concrètement, qu'est ce qu'il faudrait faire pour mette utilement en oeuvre un ABX audio et pourquoi les ABX audio publiés n'apprennent rien d'utile ?

(*) pour ceux qui sont persuadé qu'il y a une croisade, des croisés, des fidèles et des infidèles, il ne s'agit que d'un modeste trait d'humour tendance auto-dérision.

Bien sûr que l'on est pas en phase II mais, dans l'exemple du câble secteur, vu les différences subjectives à l'écoute attendues, on peut penser que quelques précautions soient prises avant de s'engager dans des conclusions définitives. Personnellement, pour alléger les mesures, j'imposerais des condition sur la qualité d'audition des participants sélectionnés, c'est la moindre des choses. Et même dans ces conditions la différence perçue à l'audition et son interprétation à l'audition est certainement une notion hautement variable d'une personne à l'autre. Il me semble normal, dans ces conditions, d'imposer un nombre à déterminer d'auditeurs, sinon je ne vois pas l'intérêt de faire l'étude s'il n'y a pas eu ces quelques précautions préalables.
Tout ceci n'est qu'un échange de points de vus ...

[JACBRU]

je constate que ce qui est publié ne peut pas être pris en compte par manque de rigueur. Plus la différence à évaluer est subtile, plus il faut de la rigueur. Je le rappelle le test ABX est un outil parmi beaucoup d'autres. L'important c'est la stratégie statistique élaborée en fonction de la question posée et d'elle seule.

Pour l'instant, tu n'as indiqué aucun point susceptible de manquer de rigueur, envisagé aucune question posée lors d'un test, ni aucune stratégie correspondante...

Bien sûr, je suis resté dans la généralité, je pourrais faire une analyse d'une étude précise, mais vois tu, je n'ai pas eu le temps. Encore une fois mon but est de faire réfléchir à ces questions.

[ohl]

j'imposerais des condition sur la qualité d'audition des participants sélectionnés, c'est la moindre des choses

quel intérêt ?
Si quelqu'un prétend entendre des différences en écoute non-aveugle, pourquoi devrait-on lui faire un audiogramme ?
Il se prête au test ABX et on constate ou non que l'audibilité subsiste en écoute "aveugle".
Imaginons quelqu'un avec une audition "anormale" qui aurait un problème de "recrutement" : il s'agit de problème de dynamique d'audition où les faibles niveaux ne sont pas entendus mais dès que le niveau monte, il y a inconfort. La dynamique acceptée par cette oreille est donc bien plus faible que pour une oreille normale. Peut-être que cet individu est mieux à même de juger du respect de la dynamique par un câble, un DAC ou que sais-je... Pourquoi l'éliminer ?

(désolé oh mon bon maître, c'est pour la cause * )

abrupt, moi ?
moi qui défend le droit aux sourds de faire des écoutes !
et qui prétend qu'ils ont autant de chance de réussir un ABX de câbles que les audiophiles