Test en aveugle

[Pio2001]

Si on m'avait imposé de ne pas changer de volume lors des "ABX pour les nuls", j'aurais raté le quatrième. Il m'a fallu monter le son pour réussir le test.

[Mahler]

oui mais on commence l'abx avec un niveau sonore qui a permis d'identifier des différences en non aveugle. sinon on ne commence pas le test. non ?

[Pio2001]

Je préfère la méthode Grand X : le testeur règle le volume à sa convenance.

[Pio2001]

Tenez, si on transpose aux extraits musicaux, on pourrait de même dire qu'il faut mener le test avec l'extrait sur lequel la différence a été identifiée.

Or, regardez ce CR de test ABX de JbM extrait de Besoin de cobayes pour un petit ABX :

En non aveugle, il m'a semblé entendre le problème de spacialisation indiqué par Pio. Mais une fois passé en aveugle, impossible de réussir le test
J'ai finalement réussi (10/10) mais sur un autre passage :
Entre 0:13,5 à 0:14,5, en arrière plan, il y a un micro-détail présent sur le flac et absent (ou très atténué) sur l'ogg.

En lui imposant de conserver le même extrait, il aurait échoué.

[grand x]

Je préfère la méthode Grand X : le testeur règle le volume à sa convenance.

Dans mes bras !



Je milite pour cette liberté lors des tests ABX.
2 avantages énormes:
-on se dispense de la procédure d'égalisation des niveaux, et sa non évitable suspicion de biaisage de test si la garantie de sa perfection n'est pas apportée,
-on augmente les possibilités de différenciation.

Oui, il y a bien une contrainte: la remise à 0 du volume sonore à chaque changement d'appareil testé (A, B ou X), mais le testeur peut ensuite à sa guise régler le volume à sa convenance (sur demande à l'opérateur si la manipulation de la télécommande peut faciliter une reconnaissance). Et il a toujours la possibilité de réclamer un niveau ajusté, pour certaines différences. Mais pour d'autres, je le sens comme un handicap (il me semble que certaines électroniques nécessitent un réglage de volume différent pour un confort optimal tout personnel, en fonction de diverses musiques)

[Mahler]

Oui, il y a bien une contrainte: la remise à 0 du volume sonore à chaque changement d'appareil testé (A, B ou X), mais le testeur peut ensuite à sa guise régler le volume à sa convenance (sur demande à l'opérateur si la manipulation de la télécommande peut faciliter une reconnaissance).

j'ai rien contre cette méthode, il faut juste qu'il y ai assez d'essais pour "diluer" statistiquement le risque de mettre le volume plus fort plusieurs fois de suite (par hasard) avec le même câble. (par ex 15 essais).

[Pio2001]

Pour moi, cela ne dispense pas de la procédure d'égalisation des niveaux. Les niveaux doivent être égalisés, puis un réglage commun agit sur les deux sources à la fois, à la convenance de l'auditeur.

Je pensais à un réglage identique pour les deux appareils, mais l'auditeur peut s'il le souhaite régler un appareil plus fort que l'autre lorsqu'il sait lequel c'est, mais il ne pourra pas utiliser le gain pour deviner lequel il écoute. Ainsi, en écoutant X, il ne saura pas, a priori, comment régler le volume. Mais si cela peut l'aider, il peut essayer de deviner lequel c'est en recherchant le volume d'écoute qui lui semble le plus confortable.

[grand x]

On peut modifier le réglage du volume quand on veut, il n'y a pas à augmenter le nombre d'essais: il suffit que ces modifications de volume aident à la différenciation pour le testeur. C'est pas gagné, mais c'est au moins une contrainte (le volume bloqué) en moins, qui rapproche des conditions normales d'écoute

[expertdoc]

C'est aussi ce que je pense car selon les enceintes par eexmple leur expressivité peut être très dépendante du niveau ... on pourrait imaginer la même chose pour d'autres appareils .... ?

[JACBRU]

Bonjour Jacbru,

Dans nos tests en aveugle, nous utilisons la méthode ABX parce que c'est pratiquement la seule à notre portée. Du coup, on fonctionne à l'envers. Au lieu de choisir la bonne méthode pour répondre à nos questions, on se réduit à poser les seules questions auxquelles notre méthode peut répondre : la différence entre A et B est-elle perçue ?

Autrement dit, la méthode de base peut confirmer qu'une différence perçue est imputable aux appareils écoutés (test ABX positif), ou ne rien confirmer du tout (test ABX négatif).

On utilise alors cette méthode comme un outil, dans tout un tas de circonstances possibles : confirmer qu'une différence connue vient bien des appareils (ex : ABX haute résolution, par Corsario), estimer si les appareils jouent un rôle important dans une différence moins bien connue (ex : ABX de câbles de modulation), voir si deux appareils de conception connue mais de sonorité inconnue exhibent une différence évidente à l'écoute (ex : ABX d'amplis de Syber), ou même carrément confronter sa perception quotidienne de la sonorité des appareils à sa capacité de les identifier en aveugle (recherches actuelles de Grand X).

Deux exemples d'utilisation de l'ABX :

Test de sorties casques avec Nitri :
http://chaud7.forumactif.fr/tests-abx-f ... x-t457.htm
Un test ABX, réalisé après les mesures, a montré que sur un certain casque, et sur un signal musical, l'impédance de la sortie pouvait avoir un effet audible sur le son. Sans cela, impossible de savoir si la sonorité que l'on perçoit vient de l'impédance de sortie, ou d'une simple impression subjective.

Test de câbles secteurs avec JV Serinus :
http://www.hometheaterhifi.com/volume_1 ... -2004.html
Parmi les descriptions données par les auditeurs, il y avait par exemple celle d'une différence de volume sonore entre les câbles. Les réponses données dans le test ne correspondant pas à la série tirée au sort (ni à son opposé), on peut en déduire que la différence de volume perçue par cet auditeur n'est pas dûe au câble. Conclusion impossible sans mise en aveugle.

Oui, mais je pense quand même que l'on peut poser des questions plus complexes, bien ciblées et réaliser une étude pas trop complexe qui puisse donner des résultats significatifs. En biomédical on démontre bien certaines choses avec 25 patients. Il y a une condition, l'évaluation de la confiance que l'on peut accorder au test. Les compte-rendus deux tests proposés ne disent rien de cette confiance. C'est ce que je disais, je n'ai jamais vu aucune étude publiée qui ait une quelconque valeur. heureusement qu'il en faut plus pour obtenir la mise sur le marché d'un médicament. Pourtant, on ne peut pas connaître encore très bien un médicament nouveau au moment du lancement. Il faut parfois des millions de prescriptions pour découvrir un événement indésirable rare, parfois grave.
Nous ne parlons que des évaluations prospectives, mais on peut, peut être, aussi faire des études rétrospectives, essentiellement bibliographiques, ou même des études de tolérance "sentinelles".

Par exemple, pourquoi ne demanderait-on pas à certains intervenants sur le forum de déclarer systématiquement les problèmes ayant entrainé un SAV avec leurs appareils électro-vidéo-acoustiques. De telles études pourraient être objectives sur la fiabilité des différents matériels.

Pour les tests ABX, effectivement, une électronique marche généralement mieux quand on la charge par une impédance correspondant à ce qui a été prévu par le concepteur. On sait, par exemple, que le facteur d'amortissement d'un amplificateur dépend de l'impédance interne du circuit et de l'impédance du transducteur qui le charge. Il existe forcément une impédance de charge qui induit un facteur d'amortissement optimal. Il n'est pas surprenant qu'une étude l'ai montré. On sait que les montages à lampe sont particulièrement sensibles à l'impédance de charge. Pour ce genre de question on peut trouver une confirmation subjective avec assez peu d'auditeurs.
Quand au test de câble secteur, je l'ai déjà dit, je ne m'y serait pas frotté. les différences subjectives, si différences il y a, sont trop faibles pour pouvoir être mises en évidence. Je ne pense pas que vous puissiez tester avec suffisamment d'auditeurs. En pharmaco-clinique on ne lance pas une étude, vu le coût, si l'on est sûr, dès le départ, de ne rien pouvoir démontrer !

Je le répète, il ne faut pas être totalement pessimiste, il est probablement instructif de réaliser au niveau de HC-FR, avec des forumeurs volontaires, une étude prospective qui tienne réellement la route, en vrai double aveugle (double blind des anglo-saxons), avec un tirage au sort (randomisation) selon les normes. Des idées de sujets ?

Je suis un peu perdu mais j'ai des excuses, je ne suis pas familier de la matière

La question différence/pas de différence est la seule qui semble être posée dans les ABX généralement cités.

Pio montre qu'on pourrait néanmoins formuler des déductions à partir des résultats dans le contexte des tests, par exemple sur l'impédance de sortie du casque et son impact sur le rendu sonore. Est ce une déduction de ce type que tu estimes sans valeur du fait de l'absence de l''évaluation de confiance . Qu'est ce au juste que cette évaluation de confiance ? Je note que tu estimes vraissemblable cette déduction (au cas d'espèce) mais que tu sembles dire qu'elle ne peut, pour autant, procéder en toute rigueur de l'ABX cité par Pio. C'est ça ?

J'ai l'impression en second lieu que vous ne parlez pas toujours de la même chose.

Tu envisages des questions plus précises ou plus pratiques (la fiabilité, l'optimisation des filtres) qui impliqueraient, si j'ai bien compris des protocoles plus complexes, alors que l'ABX de différences (pardon pour la terminologie, sans doute baroque) serait déjà non maîtrisé (pour ceux cités au sein de ce forum).

Bien évidemment cet éclairage ouvrirait le champ de notre compréhension et celà m'interesse aussi.

Mais pour l'heure, les ABX généralement réalisés et commentés sur HCFR ou CHaud7 viennent s'inscrire dans une problématique assez simple : De nombreuses personnes déclarent entendre des différences entre matériels que d'autres personnes déclarent ne pas entendre, ou qui selon elles ne pourraient exister ou être audible pour des raisons techniques, ou qu'il n'est pas certain qu'on puisse attribuer au matériel en cause, à quoi s'ajoute l'appréciation des ordres de grandeur (un changement de câbles peut il vraiment apporter une différence très significative par exemple ?).

Tu écartes a priori l'ABX de câbles - c'est un exemple - au présupposé que "les différences subjectives, si différences il y a, sont trop faibles pour pouvoir être mises en évidence. Je ne pense pas que vous puissiez tester avec suffisamment d'auditeurs. En pharmaco-clinique on ne lance pas une étude, vu le coût, si l'on est sûr, dès le départ, de ne rien pouvoir démontrer".

C'est là que je ne comprend plus.

S'il y a une problématique majeure qui traverse le petit monde de la Hifi depuis un paquet d'années, c'est l'impact sur le rendu sonore des changement de matériels, d'accessoires et plus marginalement leur tweakage, ainsi que la hiérarchie des améliorations que l'on peut espérer en composant ou en modifiant son système.

Toute la presse audio française, à l'exeption relative de Hifi-Stéréo, et un nombre considérable de fils sur tous les forums y est consacré. Si, sur certaines de ces questions, tu penses qu'il n'y a pas lieu à lancer un test ABX, le résultat (négatif) étant couru d'avance, sauf à élargir considérablement la base des testeurs (*), c'est un début de réponse mais en même temps in postulat qui combat ce fort bruit de fond. Ca vaut la peine d'explorer car ça interesse le plus grand nombre d'audiophiles moyens - dont je fais partie -, plus, à mon avis, que des question plus pointues (observation faite que je ne parle pas des études de fiabilité qui sortent un peu du sujet mais qui seraient particulièrement utiles).

Prenons une question simple et d'intérêt immédiat : les différences entre lecteurs CD ou d'amplis (en excluant les cas d'espèces liés à l'alimentation d'enceintes à l'impédance exotique).

Il n'est je suppose pas (trop) difficile de réunir entre 5 et 10 audiophiles qui déclarent entendrent aisément des différences, pour un ABX (ou un autre protocole, encore une fois je ne suis pas un spécialiste) centré sur les différences entre A et B.

La difficulté - et le débat majeur sur les tests en aveugles -, c'est que ces derniers ne voient pas l'intérêt d'un tel test ou en discutent la validité alors qu'ils constituerait une population (il me semble) adéquate pour ces tests.

Ce que je lis à travers ton intervention, et encore une fois je n'ai peut être pas compris, c'est qu'elle peut être interprétée comme "le test en aveugle tel que pratiqué n'apprendra de toute façon rien", ce qui est dissuasif. Ou bien celà remet en cause la méthode en soi ( ce que l'on va vite en déduire) , ou bien ce n'est qu'une question de mise en oeuvre.

Dans cette dernière hypothèse, sur la question différences/pas différences (si elle est pertinente), que doit on faire pour valider éventuellement les sensations de différence audibles significatives ressenties par de nombreux audiophile et toute la communauté des journalistes de revues audiophiles ? (**)

(*) Est ce à dire que s'il faut, pour le test, une population très large, celà signifie qu'on soupçonne que la différence soit si faible ou si délicate à identifier que seule une infime minorité pourrait réussir le test ?

(**) J'ai bien vu que tu avais commencé à répondre, notamment dans les extraits ci-après, mais peut-on aller plus loin tout en apportant une réponse univoque en sachant que nombre de forumeurs sont dubitatifs ou tout simplement perdus sur ces questions ?

Mon intervention ne visait pas particulièrement les tests ABX qui sont une méthode d'évaluation de processus biomédicaux parmi d'autres. Dans ce contexte les évaluations de différences sont pratiques courantes, puisqu'il est recommandé d'avoir au moins un groupe témoin (placebo ou traitement de référence) pour savoir sil existe une différence significative sur la question ciblée posée. Dans ce cadre la méthodologie adoptée dépend du contexte. Il n'y a aucune raison de procéder autrement pour évaluer un critère de perception auditive. L'étude de sons provenant d'un système électro-acoustique se fait bien dans ce cadre. Que je sache les études en ORL ou en neurophysiologie utilisent beaucoup des stimuli produit par des appareils électronique et transmis par des enceintes ou des casques

La première chose à faire et d'établir la question à laquelle on cherche une réponse puis on va voir le statisticien et l'on discute. Avec lui on établit les conditions d'étude, croisée ou parallèle, critère(s) de comparaison, procédures techniques, matériel, profile des testeurs, sélection, méthode de tirage au sort, etc ... et finalement nombre de testeurs à recruter. Celui ci dépend de la probabilité de confiance recherchée pour l'étude (en général on veut p<5% plus p est faible, plus il faut de mesures), de la probabilité d'occurrence du phénomène (plus elle est faible, plus il faut de mesures), de la dispersion des résultats mesurés (plus elle est grande plus il faut de mesures). Bien sûr, dans de nombreux cas il faut un testeur pour une mesure. Ensuite, effectivement les méthodes croisées demandent moins de testeurs (auditeurs dans notre cas) que les méthodes en groupes parallèles. Mais celles ci, lorsqu'elle sont possibles sont plus faciles à organiser. Par exemple, pour la méthode croisée, il faut obligatoirement un "lavage" (wash-out) entre deux mesures pour diminuer, par exemple, tout effet de mémoire. etc., etc. Quand tout le monde est d'accord sur le protocole et sur les méthodes d'évaluation statistique, y a plus qu'à ... organiser les choses, pas toujours simple.

C'est assez simple à comprendre, plus les différences à évaluer sont minimes et subtiles, plus il faudra de mesures, donc d'auditeurs dans notre cas pour espérer avoir une réponse crédible à la question. Tout le monde peut imaginer que la différence audible entre deux câbles d'alimentation électrique sera extrêmement faible. Dans ce cas il faudra bien plus de dix mesures pour commencer à obtenir une réponse significative, c'est à dire avec une probabilité de donner une réponse contraire à la réalité inférieure à 5% (seuil de significativité généralement retenu). Quand je dis il faudra beaucoup plus, mais beaucoup, peut être quelques centaines et, pourquoi pas milliers de mesures (je ne sais pas, je n'ai pas évalué). Et cette étude, pour apprendre quoi ? que la différence entre ces câbles est infinisétimalement faible et que, vu le prix de certains câbles, il vaut mieux dépenser ailleurs ses sous pour améliorer le comportement d'une chaîne. Cela, j'ai 45 ans d'expérience, je peux vous le dire tout de suite, sans étude longue et difficile à organiser. D'ailleurs, avec 10 auditeurs, ils n'ont rien conclu. Toutes les écoutes des câbles secteurs par un chroniqueur patenté et professionnel d'une revue spécialisée me semblent sujettes à caution, surtout pour justifier l'achat d'un câble secteur de 1m50 à 1500€ !!!!!

La logique veut qu'on pose d'abord une question crédible, qu'on envisage les moyens d'y répondre, puis d'évaluer si l'on peut obtenir une réponse dans des conditions acceptables, matériellement et budgétairement. Si ce n'est pas possible, on cherche une autre méthode d'approche.

[ohl]

plus les différences à évaluer sont minimes et subtiles, plus il faudra de mesures, donc d'auditeurs dans notre cas pour espérer avoir une réponse crédible à la question

Ceci n'a rien à voir avec les tests ABX en audio (y compris ceux faits dans le cadre des "kangourous") :
- certains auditeurs entendent des différences à l'écoute d'amplis, câbles, DAC,... dans des conditions domestiques, sans protocole, sans niveaux alignés,...
- nous proposons de vérifier si la différence entendue par cet/ces auditeur(s) est aussi audible dans un test ABX
- que la majorité de la population l'entende ou pas, que ce soit subtil ou pas, c'est égal : un seul auditeur qui réussit le test suffit à démontrer qu'il existe une différence audible
- le switch ABX utilisé pour les tests des kangourou me semble tout à fait fiable pour ce genre de test : choix aléatoire de X entre les essais par la machine et résultats calculés par la machine.
Sans doute les critiques de ces tests feraient bien d'en faire eux-mêmes et sérieusement, mais jamais on ne les voit lors des "kangourous"

[Pio2001]

C'est assez simple à comprendre, plus les différences à évaluer sont minimes et subtiles, plus il faudra de mesures, donc d'auditeurs dans notre cas pour espérer avoir une réponse crédible à la question.

Je crois qu'il y a méprise au sujet de la question posée.

En médecine, on pose la question "quels sont les effets de ce produit sur la population ?"
Pour détecter des effets petits, il faut effectivement une population importante.

En audio nous posons la question "la différence entendue par untel vient-elle du son produit par les appareils ?"
La différence étant donnée, reproductible, et propre à un individu, il est facile d'étudier son origine en randomisant les appareils écoutés par cette personne.

[wald]

+ 1 avec Pio et Ohl

Dans l'ABX audio, on se borne, sauf erreur, à tenter de valider un évènement auparavant constaté et jugé significatif par celui qui l'a constaté.

Le sujet de ce fil, à mon avis, est de savoir si l'ABX, pratiqué selon ce "cahier des charges" est (1) une méthode valable, (2) correctement pratiquée et (3) s'il existe des alternatives.

Dans les tests pharmacologiques on évalue (entre autres), le risque d"effets indésirables. l'idéal pour le Labo qui teste sa molécule est donc qu'il n'y en ait pas (ou très peu) qui soit grave. La population testée est, si j'ai bien compris, appréciée notamment par sa pertinence et la taille de l'échantillon, lesquels conditionnent la fiabilité d'un test dont l'un des objectifs est, autant que possible, de caractériser un non évènement.

Ce n'est pas du tout ce qu'on fait en ABX audio puisqu'on a globalement abandonné l'idée que des tests négatifs signifieraient ipso facto l'absence de différence audible (faute en particulier de pouvoir l'apprécier sur un échantillon satisfaisant), ou on se désinteresse qu'un mec sur 10.000 seulement puisse d'entendre ce que 9999 autes n'entendront pas (*).

Il y a alors, j'imagine, de moindres contraintes méthodologiques, non ?

(*) me rappelle Antoine Goléa, critique musical mort aujourd'hui (enfin je crois ) qui détestait les interpréations sur instruments anciens et diapason dit "baroque" au motif qu'il avait l'oreille absolue et ne pouvait rien supporter que le diapason moderne (ce qui est une sottise car on peut très bien avoir l'oreille absolue et écouter selon divers diapasons). Mais de toute façon, qu'est ce qu'on en avait à faire d'une particularité que ce type ne partageait qu'avec une personne sur 10.000 ???

[JACBRU]

plus les différences à évaluer sont minimes et subtiles, plus il faudra de mesures, donc d'auditeurs dans notre cas pour espérer avoir une réponse crédible à la question

Ceci n'a rien à voir avec les tests ABX en audio (y compris ceux faits dans le cadre des "kangourous") :
- certains auditeurs entendent des différences à l'écoute d'amplis, câbles, DAC,... dans des conditions domestiques, sans protocole, sans niveaux alignés,...
- nous proposons de vérifier si la différence entendue par cet/ces auditeur(s) est aussi audible dans un test ABX
- que la majorité de la population l'entende ou pas, que ce soit subtil ou pas, c'est égal : un seul auditeur qui réussit le test suffit à démontrer qu'il existe une différence audible
- le switch ABX utilisé pour les tests des kangourou me semble tout à fait fiable pour ce genre de test : choix aléatoire de X entre les essais par la machine et résultats calculés par la machine.
Sans doute les critiques de ces tests feraient bien d'en faire eux-mêmes et sérieusement, mais jamais on ne les voit lors des "kangourous"

Un seul auditeur, je peux citer au moins un journaliste qui voit une différence, tu lui fais faire le test ABX et il l'entendra. Une seule mesure ne lui donne pas une crédibilité. Prends un câble standard et un câble HDG, un seul auditeur perçoit une différence subjective au test. Cela n'en fait pas une vérité, tout au plus une observation. de plus, même si différence il y a, rien ne peut dire si c'est le HDG le meilleur. Le lecteur du compte rendu le supposera. Cette méthode ABX a une signification avec un seul test pour des mesure objectives, pas avec des évaluations subjectives soumises à variabilité. Là est le problème. Dans ce cas il faut obligatoirement renouveler ce test avec plusieurs "cobayes" pour en espérer une significativité. restera la question quel est le meilleur câble ? Dernière chose, je suis persuadé que, pour un câble d'alimentation, vous prenez le même auditeur à des moments différents de sa vie, il peut absolument répondre différemment au test ! Le subjectif est difficile à appréhender, il ne faut pas se contenter d'un test mais avoir une stratégie d'évaluation. C'est simplement ce que je voulais faire comprendre.

Je précise que j'ai mis en places des procédures techniques de tests en pharmaco-clinique, j'ai organisé des études pendant une quinzaine d'années, je peux m'exprimer sur ce que l'on peut en tirer.

[wembley]

C'est assez simple à comprendre, plus les différences à évaluer sont minimes et subtiles, plus il faudra de mesures, donc d'auditeurs dans notre cas pour espérer avoir une réponse crédible à la question.

Je crois qu'il y a méprise au sujet de la question posée.

En médecine, on pose la question "quels sont les effets de ce produit sur la population ?"
Pour détecter des effets petits, il faut effectivement une population importante.

En audio nous posons la question "la différence entendue par untel vient-elle du son produit par les appareils ?"
La différence étant donnée, reproductible, et propre à un individu, il est facile d'étudier son origine en randomisant les appareils écoutés par cette personne.

A te lire je comprend que l'ABX tel qu'il est appliqué en médecine n'est pas applicable en audio car la situation/question est bien différente, en effet.

L'idée vient alors qu'il n'y a pas d'ABX possible en audio, simplement parce que la situation/la question se pose différemment.