Test en aveugle

[ohl]

doublon !!!

[Pio2001]

mais que le test, ne fait que tester sa capacité à les discriminer, les organiser, les stocker efficacement dans sa mémoire, puis les comparer entre-elles.
C'est un peu trop pour un seul test, ce qui invalide une quelconque estimation de " la capacité de l'auditeur à percevoir des différences".

C'est à partir de là que nous sommes d'avis différent. Personnellement, je trouve que la "capacité à [...] discriminer [des informations], les organiser, les stocker efficacement dans sa mémoire, puis les comparer entre-elles" est un pré-requis à toute activité mentale.

Ou pour être pragmatique, c'est plus dur en ABX. Ok, ben il suffit de faire plus d'efforts

[wald]

Je reviens sur ce qui c'est dit un peu plus haut.

Faudrait relire Hervé quand même. Je ne vois pas d'écart significatif entre ce qu'il écrit et ce qui est soutenu par les ABXeurs (néologisme plus réaliste que "objectivistes" et plus simple que "Pio et les autres" ).

Hervé a écrit : Lorsque Ohl et d'autres font le test ABX, ils cherchent à "identifier" les 10 cas du test précédent et non pas l'ensemble de l'échantillon des 100 sujets (ndr : Hervé faisait suite à un post de Jacbru) à la réserve importante près qu'eux ne testent pas une "préférence" mais une simple "différence" audible.

A ceux qui perçoivent une différence (en général en non aveugle), ils vont tester "en aveugle" la validité de cette différence, autrement dit si sur par exemple 15 extraits identiques, ils sont capable de distinguer A ou B. Si un ou plusieurs individu(s) réussissent ce test (par exemple 14 réponses justes sur 15), ils en concluent que A est différent de B au sens statistique du test. Cela est vrai pour ce(s) sujet(s) et ce d'autant plus que l'individu est capable de reproduire la même performance à d'autres moments et/ou est capable d'apprendre à d'autres à "améliorer" leurs performances.

Tout cela est bel et bon au sens statistique du terme mais vient alors le problème de l'utilité du résultat.

Admettons que sur les 100 sujets, il n'y en a que 3 qui perçoivent une différence entre A et B et que ces 3 arrivent à convertir 5 autres, il n'en reste pas moins que si cette différence existe indéniablement, elle reste inaudible pour la majorité des participants (soit 92% des cas dans cet exemple). OK, le test est positif mais son utilité reste douteuse. Peu de gens perçoivent des différences y compris après apprentissage, sa générabilité est médiocre, De plus, différence n'est pas équivalent à supériorité (il faudra faire des tests subséquents sur ces "oreilles d'or").

Admettons maintenant que A coûte 5 fois plus cher que B, il est clair qu 'au moins 92%des gens auront fait une mauvaise affaire en achetant A plutôt que B. Donc , ce test dont les résultats appparaissent "décevants" peuvent être malgré tout utiles parfois.

Encore une fois, j'ai été trop long, mais j'ai essayé de mettre en évidence ce qui appartient plutôt à la méthodologie, la statistique, la généralisation et l'utilité des études. Très souvent les intervenants ne parlent pas de la même chose et répondent à un point qui a trait à la statistique par une réponse qui a trait à l'utilité oi à la généralisation ou inversement.

Je ne vois nullement en quoi Hervé25 aurait discrédité l'efficacité probatoire de l'ABX sur le plan strictement soutenu par Pio (et les autres ), à savpir : une différence est soutenu par quelqu"un mais, à chaque fois qu'elle ne relève pas d'un large consensus (la différence entre enceintes en relève, celle entre câbles non), une démarche probatoire est exigible. Dans cette optique, l'ABX est pertinent selon les ABXeurs.

Pio a écrit lorsqu'une différence extraordinaire est affirmée, il faut la confirmer en double aveugle pour que l'affirmation soit prise au sérieux par rapport à ce qu'on sait de l'audition humaine (...). On n'oblige aucun audiophile à discuter sans arrêt des seuils d'audition humaine.

Or pour cela, c'est un ABX positif, qu'il faut, non un négatif. Et le positif prouve que la différence est perçue, de façon très simple.

Mais encore une fois, à mon avis, Hervé ne prétend pas le contraire, ce que la profusion d'un débat tous azimuts finirait par faire croire.

Hervé, est-ce que je me trompe ?

Hervé soutient en revanche, ce qui est une branche découlant de la première, que l'objectif (prouver une différence) est limité de son point de vue, et qu'un ABX isolé n'apporte aucune réponse à la question " quelle proportion des audiophiles entendra vraiment la différence validée par ABX". Il signale que l'ABX ne sert à rien pour dire "quel est le préféré ?", voire "quel est le meilleur ?" et on croit comprendre que sa préférence irait vers ces tests.

Jusqu'à un certain point, ça me semble justifié et ce d'autant plus que les ABXeurs ne cessent, dans leur ensemble, de ressasser le cadre étroit de l'ABX et l'absence de conclusion péremptoire à tirer d'un ABX négatif (que ceux qui croient ou affectent de croire le contraire relisent ce fil et pas mal d'autres, ça fera gagner du temps à tout le monde).

Mais Pio n'est pas moins fondé, pour moi, en signalant qu'un double aveugle de préférences serait de peu d'utilité puisqu'on aura de toute façon toujours du mal à faire son choix une fois qu'on saura que 47 % ont préféré A, 29 % B et 24 % n'ont pas pu choisir.... So what !

C'est au fond une pure question de centre d'intérêt. Les ABXeurs se limitent à la question : la différence est-elle réelle ?

Il faut bien reconnaître, ou alors je en comprend vraiment rien, qu'elle est un préalable indispensable à d'autres batteries de tests ...

Il est dès lors absurde de s'entêter dans un débat ou on déplorera que le marteau ne sert à rien pour visser et que le tournevis est un dispositif inepte pour planter un clou.

Ce qui m'interesse pour ma part, puisque l'ABX est indubitablement au centre des posts de ce fil pour le moment, est qu'on explore cette problématique avant de passer à d'autres tests en aveugles :

1. Un ABX positif prouve t-il que la différence audible alléguée par quelqu'un est effectivement imputable aux matériels testés ?
2. Est-il anormalement difficile d'obtenir un positif en double aveugle même si, dans les mêmes conditions, on vient d'entendre en non aveugle la différence ?
3. Existe-t-il une alternative pour cette preuve ?

[syber]

Themisto,



Je te répond parce que je ne doute pas de tes intentions dans ce débat (on verra bien qui réagira à cette phrase )


Tout ceci a déjà été expliqué maintes et maintes fois depuis près d'un an maintenant sur HCFR. Un an, quand j'y repense, ça me dépasse. Une telle incompréhension, une telle agressivité de la part des détracteurs de ces écoutes dépassent mon entendement, je l'avoue. (c'est de la rhétorique . En fait je me doute assez bien des mécanismes en jeu dans ce débat ... comme d'ailleurs la plupart de ses intervenants qui prennent beaucoup de plaisir à ce petit jeu ! )


Redevenons sérieux !

Au début du premier ABX des Kangourous, la plupart des participants ne savaient pas où ils mettaient les pieds. Ils étaient là en fonction de diverses motivations ; qui la curiosité, qui l'envie de confronter leurs capacités à un test, qui l'envie de prouver l'existence des différences, qui exactement l'inverse ... bref.

Au fur et à mesure des Kangourous, ses participants ont compris par la pratique la réelle portée de ces tests et ont petit à petit affiné leurs CR en conséquence. Je me répète, mais je suis navré de constater que les lignes n'ont pas bougé de la même manière de l'autre côté.

Au risque de lasser le lecteur en me répétant et en répétant pour la énième fois ce que disent - si j'ai bien lu leurs écrits - les participants des Kangourous, un ABX se passe de la manière suivante :

- On réunit des personnes ayant une affinité particulière pour ce qui touche au son et à la musique. Lors des Kangourous, nous avons ainsi réuni des amateurs de HiFi, des possesseurs de CD-Thèques de plusieurs milliers de disques, des ingénieurs du son, des revendeurs de HiFi, des musiciens (au moins trois), etc ... j'en passe et des meilleurs.

- On écoute alternativement deux éléments de chaine HiFi dont au moins un des participants dit qu'ils sont différents lors d'écoutes libres.

- On aligne les niveaux sonore entre les deux éléments.

- On identifie si la différence existe.

- Une fois identifiée, on tente de la reconnaître en aveugle 14 fois de suite sur 15 essais (calcul statistique qui élimine de façon quasi certaine la possibilité d'une réponse au hasard).


Compte tenu de ce dernier point, on peut dire que si l'auditeur M. Dupont réussit, alors le résultat "il existe une différence entre ces deux éléments" s'impose à tous. Ceux qui n'entendent pas la différence en tirent les conclusions qu'ils souhaitent (je suis un nul, Dupont est un c... j'ai bien fait de ne pas claquer tout mon fric dans une chaine pour de si faibles différences, j'préfère aller au concert, voire même "comment fait-il ? je vais m'entrainer" ce qui est bien plus positif comme attitude).

Si l'ABX est négatif, négatif dans le sens où on ne peut pas affirmer que M. Dupont entende bien une différence entre les deux éléments. On ne peux rien conclure d'autre que :

M. Dupont à telle date, à tel endroit et avec telle configuration de matériels d'écoute, n'a pas pu différencier ces deux éléments et eux seuls. Il est donc acquis pour tous ceux qui ont participé à ces écoutes qu'il s'agit là d'une expérience individuelle.

C'est tout ce que l'on peut conclure à ce stade ... ça et autre chose de troublant que la plupart des participants aux ABX rapportent régulièrement et que bien peu de personnes relèvent (le veulent-elles ? ) : Lors de la phase d'écoute libre qui précède l'ABX proprement dit, phase d'écoute pendant laquelle nous essayons d'identifier des différences entre appareils (la fameuse variable pour reprendre ta terminologie), les différences entre appareils sont très souvent évidente au départ de l'écoute et s'amenuisent progressivement au fur et à mesure que l'on aligne les niveaux sonores entre appareils. Ce n'est donc pas à mon sens - j'ai à l'esprit en écrivant ces lignes le cas particulier des comparaisons entre amplis - la procédure en double aveugle qui "gommerai" les différences entre appareils au point de les rendre in-identifiables l'un de l'autre ou "troublerai" l'auditeur au point de le faire perdre ses capacités de discrimination auditive.

Non, ce qui fait que les deux amplis deviennent progressivement tellement semblables l'un et l'autre au point qu'il en deviennent impossible à différencier, c'est l'alignement de leurs niveaux sonores !

J'aimerais tant que l'on releva ce point vécu tant de fois lors des Kangourous !


Si seulement les détracteurs de ces tests pouvaient n'en faire qu'un seul au moins une fois dans leur vie ! Leur contre-argumentaire, attendu sincèrement pour ma part, n'en aurait que plus de poids.

[Themisto]

mais que le test, ne fait que tester sa capacité à les discriminer, les organiser, les stocker efficacement dans sa mémoire, puis les comparer entre-elles.
C'est un peu trop pour un seul test, ce qui invalide une quelconque estimation de " la capacité de l'auditeur à percevoir des différences".

C'est à partir de là que nous sommes d'avis différent. Personnellement, je trouve que la "capacité à [...] discriminer [des informations], les organiser, les stocker efficacement dans sa mémoire, puis les comparer entre-elles" est un pré-requis à toute activité mentale.

Ou pour être pragmatique, c'est plus dur en ABX. Ok, ben il suffit de faire plus d'efforts

Peut-être que c'est un pré-requis.
Et dans ce cas, si ce pré-requis n'est pas parfait, la marge d'erreur du pré-requis pollue complétement le résultat statistique du test. A quoi bon ?

Sérieusement, il faudra drastiquement diminuer le nombre de variables.
C'est mon avis, je ne veux pas non plus focaliser le débat que là-dessus, mais, plus on est nombreux à réfléchir mieux c'est.

[wald]

Ce que je pense est, qu'on teste la capacité de l'auditeur à pouvoir identifier avec précision (sous la forme d'une seule variable, à sa discrétion) sa précédente écoute, et sa capacité de comparer deux souvenirs acoustiques (toujours sous cette prétendue forme d'une seule variable choisie). Et ceci avec une précision statistique donnée.
Personnellement, je ne trouve pas étonnant du tout que le test échoue, dans ces conditions.
Et, je maintiens que le test ne teste pas des différences perçues entre deux configurations. Il teste la capacité de l'auditeur à produire une preuve répétable de sa propre compréhension de la situation.

je ne comprend pas cette histoire de variable que je trouve déconnectée de la pratique des ABX. Tout ça est bien plus simple et c'est effectivement d'une certaine manière résumable à la capacité à reproduire, non pas une preuve , mais une sensation, ladite capacité de reproduction valant preuve.

Aveugle ou pas ne changera rien à l'affaire si on répond effectivement de manière plus ou moins aléatoire comme tu le soutiens, si en consquence "comparer" n'est pas du ressort de l'humain. Mais quelle perspective !

Maintenant, pour apporter cette preuve, quelle méthode alternative proposerait tu ?

[Themisto]

...

Oui, je connais tout cela. La pression acoustique (le niveau) est effectivement un élément trop criard. Le plus criard de tous, probablement. Trop facile pour différencier, et bien trop masquant pour le reste.
Je le répète: ne doute pas des bonnes intentions (ni l'intégrité) de personne.
Mais, j'ai d'autres doutes, surtout après avoir fait plusieurs essais d'AB/X. Ce sont ces doutes que j'ai essayé (peut-être maladroitement) de partager.

Mais faut pas s'arrêter sur mes doutes. C'est juste un élément de plus, pour alimenter la réflexion.

[onovno]

Que penses-tu de la section "Mesure" de ce site ? On peut s'en servir comme base ?

surtout pas !
Bon, j'exagère , je n'ai pas tout lu !
Mais il ne faut pas utiliser des méthodes du type RTA comme dans ce site, ça ne donne généralement pas de bons résultats...

Justement, le concepteur du site est d'accord avec toi. Il critique l'utilisation d'un RTA car il ne donne pas de bons résultats. Lire tout l'article. Il préconise l'utilisation d'un logiciel gratuit SynRTA qui analyse en temps réel.

Extrait :
qu'est ce qui différencie SynRTA d'un RTA (Real Time Analyser) ?
La matière grise que son géniteur a mise dedans et son immunité au bruit . Rappellons LA tare dont souffrent tous les RTA en vente chez votre épicier habituel : le temps infini qu'il leur faut pour analyser et stabiliser la courbe de réponse dans le grave, et l'impossibilité de reproduire la même courbe entre deux séquences de mesure. La raison en est que le bruit rose génère par nature des bruits aléatoires dans le grave et tout local possède ses résonances propres qui seront excitées aléatoirement par l'enceinte acoustique que l'on y a placée. Ce sont ces bruits qui perturbent votre analyseur et le rendent incapable de mesurer deux fois la même chose ou de stabiliser la courbe obtenue. Mais alors qu'a fait Monsieur Bill Waslo, le papa de SynRTA ? Il a synchronisé l'émission de ce qui ressemble à du bruit rose avec l'analyse de celui-ci par le logiciel. En fait, ce "bruit rose" est constitué d'une multitude de petites impulsions très brèves analysées individuellement. Ainsi, la mesure étant débruitée, SynRTA est capable d'afficher en quelques secondes seulement une courbe stable, reproductible et réellement représentative de ce qui sort des enceintes ! Plus besoin d'attendre pendant des heures que la courbe se stabilise, si jamais elle y parvient. Et grâce à cela il est facile de trouver le bon emplacement des enceintes et éventuellement appliquer une correction pertinente à l'aide d'un égaliseur (tel que celui contenu dans le DCX2496) pour obtenir ENFIN quelque chose d'écoutable dans votre salon.

[syber]

Mais, j'ai d'autres doutes, surtout après avoir fait plusieurs essais d'AB/X.

Il faudrait peut-être simplement que tu nous narre par le menu comment se sont déroulés ces ABX et quelles conclusions tu en as tiré ?

[Themisto]

Ce que je pense est, qu'on teste la capacité de l'auditeur à pouvoir identifier avec précision (sous la forme d'une seule variable, à sa discrétion) sa précédente écoute, et sa capacité de comparer deux souvenirs acoustiques (toujours sous cette prétendue forme d'une seule variable choisie). Et ceci avec une précision statistique donnée.
Personnellement, je ne trouve pas étonnant du tout que le test échoue, dans ces conditions.
Et, je maintiens que le test ne teste pas des différences perçues entre deux configurations. Il teste la capacité de l'auditeur à produire une preuve répétable de sa propre compréhension de la situation.

je ne comprend pas cette histoire de variable que je trouve déconnectée de la pratique des ABX. Tout ça est bien plus simple et c'est effectivement d'une certaine manière résumable à la capacité à reproduire, non pas une preuve , mais une sensation, ladite capacité de reproduction valant preuve.

Aveugle ou pas ne changera rien à l'affaire si on répond effectivement de manière plus ou moins aléatoire comme tu le soutiens, si en consquence "comparer" n'est pas du ressort de l'humain. Mais quelle perspective !

Maintenant, pour apporter cette preuve, quelle méthode alternative proposerait tu ?

Ben, l'histoire de "variable" vient du fait que le message initial est complexe (amplitude, durée, etc), que l'influence des éléments du système de reproduction l'est tout autant complexe (non linéaire), et que tout cela est lié (les fonctions mathématiques d'évolution des éléments constituants dépendent les unes des autres).
Quand un auditeur essaye d'identifier un "ressenti" (donc une compilation d'une partie de ces variables, pas toutes), puis de comparer deux "compilations" distinctes entre-elles, j'avoue que c'est compliqué. C'est un miracle si on y arrive, surtout si le "ressenti" (les variables compilées) est mal choisi.
Mon sentiment est, dans ces conditions, qu'il faut qu'une des variables ait une valeur tellement "hors-normes" (énorme) pour qu'on y arrive à satisfaire le besoin statistique du test.

Malheureusement, je n'ai pas d'autre méthode, je suis navré. Mais on trouvera. C'est inévitable.

[Themisto]

Mais, j'ai d'autres doutes, surtout après avoir fait plusieurs essais d'AB/X.

Il faudrait peut-être simplement que tu nous narre par le menu comment se sont déroulés ces ABX et quelles conclusions tu en as tiré ?

viewtopic.php?f=1034&t=29922568

J'ai aussi fait des câbles de modulation et plusieurs autres tests visant à vérifier certaines "théories" (comme par exemple qu'une source avec 1,5dB plus fort est considérée comme "mieux définie") avec mon fils comme "cobaye-auditeur"... mais j'ai la flemme de tout écrire dans le détail. Peut-être un jour, on verra.

[syber]

Ok !

Lors des ABX, nous avons vécu plusieurs périodes. Une première période de tâtonnements où nous ne savions pas vraiment comment mettre en évidences ces différences ; nous écoutions alors énormément de musiques variées. Puis une autre période durant laquelle nous avons réalisé que la musique, non seulement n'était pas le seul signal, mais n'était pas forcément le meilleur signal pour mettre en évidence des différences entre éléments. Nous avons alors utilisé des signaux simples comme des fréquences fixes ou des bruits roses pour mettre en évidence des différences de timbres ou de courbe de réponse entre amplis et pré-amplis. C'était efficace mais incomplet.

Une fois cette période d'apprentissage effectuée, nous utilisons dorénavant un mélange d'extraits musicaux et de signaux.

Encore une fois, c'est une question d'apprentissage. Quoi chercher ? Comment le chercher ?

[Themisto]

Oui, on est d'accord: l'apprentissage est un élément-clé de la solution. Augmenter le pouvoir discriminant de l'auditeur est essentiel, en effet.
Cela pourrait efficacement réduire le nombre de variables sur un test. Très bonne idée.

[herve25]

Merci wald de ton post qui exprime bien la position des uns et des autres. J'aimerais que les ABXeurs cessent de considérer que toutes les personnes dont je suis qui -sans critiquer la démarche- tentent d'en exposer les limites comme des ennemis.
En ce qui concerne les tests de préférence (comme d'autres), un des points essentiels est le calcul du nombre de participants. Cela ne se fait pas au "feeling" mais il s'agit d'un calcul complexe, tenant compte des risques alpha, beta et de la différence attendue. En fonction de ces éléments, le nombre de sujets peut aller de quelques dizaines à plusieurs milliers.
Si on trouve que le nombre de sujets est trop important et que la réponse à la question n'est pas si importante que cela, on s'abstient de faire l'étude. Faire une étude avec un nombre de cas insuffisant est une imposture intellectuelle car non seulement, on ne peut rien tirer des résultats mais en plus on fait croire que les résultats sont valides puisqu'on peut les agrémenter de quelques chiffres et quelques pourcentages. Le seul cas où ces études ont un intérêt, c'est pour soi valider et affiner la méthodologie sur un nombre de cas limité (on l'appelle étude-pilote) avant de PROCEDER A L'ETUDE PROPREMENT DITE, soit pour permettre d'affiner la différence attendue lorsque celle-ci est difficile à évaluer.
C'est pourquoi un test de préférence qui va donner par exemple que sur 60 sujets, 23 qui préfèrent A, 18 qui préfèrent B (différence non significative) et 19 qui n'expriment pas de différence, va permettre de calculer le VRAI nombre de sujets necessaires (en fonction de alpha et beta) et ce nombre sera dans ce cas bien supérieur à 60!! Et sur ce nombre se fera la véritable étude...

[Lizandre]

mais que le test, ne fait que tester sa capacité à les discriminer, les organiser, les stocker efficacement dans sa mémoire, puis les comparer entre-elles.
C'est un peu trop pour un seul test, ce qui invalide une quelconque estimation de " la capacité de l'auditeur à percevoir des différences".

C'est à partir de là que nous sommes d'avis différent. Personnellement, je trouve que la "capacité à [...] discriminer [des informations], les organiser, les stocker efficacement dans sa mémoire, puis les comparer entre-elles" est un pré-requis à toute activité mentale.

Ou pour être pragmatique, c'est plus dur en ABX. Ok, ben il suffit de faire plus d'efforts

Peut-être que c'est un pré-requis.
Et dans ce cas, si ce pré-requis n'est pas parfait, la marge d'erreur du pré-requis pollue complétement le résultat statistique du test. A quoi bon ?

Sérieusement, il faudra drastiquement diminuer le nombre de variables.
C'est mon avis, je ne veux pas non plus focaliser le débat que là-dessus, mais, plus on est nombreux à réfléchir mieux c'est.

Mais non.

Comment accorder la moindre valeur à l'avis de tout et n'importe quel auditeur avec un tel raisonnement ? L'ABX simplifie les conditions d'écoute et élimine de l'équation des éléments étranger au son (ex. : la connaissance de l'appareil et les effets d'auto suggestion associés). Il me semble au contraire que, toutes choses égales par ailleurs, l'ABX amène l'auditeur à se concentrer sur sa perception plus qu'en écoute libre.

Soutenir que l'ABX ne vaut pas du fait de la multiplicité des variables, c'est soutenir a fortiori que l'écoute "libre" vaut ENCORE moins.