Test en aveugle

[herve25]

Je vais essayer de répondre à Ogobert car il pose le problème de l'utilité d'un ABX dans un cas concret et fréquent. L'utilité dépendra de la question soulevée et de sa réponse. Je m'explique:

1. Aucune différence audible mise en évidence entre les appareils testés dans le test ABX. Cela signifie que pour les "oreilles" d'Ogobert il n'existe pas de différence significative dans les conditions de l'expérimentation. On admettra que celle-ci a été faite de façon rigoureuse avec de multiples extraits sonores "discriminants" etc. Certes, on ne peut pas conclure qu'une écoute de longue durée (difficile à réaliser dans le cadre d'un ABX) n'aurait pas produit des résultats différents mais il est vraisemblable que les différences si elles existent auraient été davantage de l'ordre du "subtil" plutôt que de l'évidence aisément quantifiable. Vient là, l'utilité du test et de son résultat:
Si le nouveau matériel est plus beau, a une réputation de fiabilité supérieure, plus d'entrées utiles etc. Ogobert doit se poser la question "tout cela vaut-il la différence de prix?"; Cela reste un jugement d'ordre personnel et nul autre qu' Ogobert pourra répondre à cette question.
Supposons maintenant que le nouveau matériel est beaucoup moins cher que l'ancien. Le choix pourra s'imposer comme évident alors. Je sais qu'il n'est pas évident pour des raisons essentiellement psychologiques de "downgrader" un système mais on peut également l'envisager pour des raisons pratiques (besoin d'argent, oreilles "moins performantes" dues à l'âge, amélioration de la technologie ou massification de celle_ci entrainant une baisse de prix etc.)
2. Il existe une différence au test ABX selon les oreilles affûtées d'Ogobert; Là effectivement, il faudra faire un nouveau test pour voir si cette différence se traduit en fait ou non par une préférence. Idéalement, ce test devra lui aussi être en aveugle ce qui ne simplifie pas les choses. De deux choses l'une. Soit il existe une préférence démontrée statistiquement, soit cela n'est pas le cas et on retombe sur les cas précédent en termes de choix. La préférence (si elle existe) justifie -t-elle la différence de prix etc.

Rien n'empêche ensuite de demander à tester le nouveau matériel chez soi pour des écoutes plus prolongées et en condition réelle avant de prendre une décision définitive. Il reste à espérer que dans l'intervalle de toutes ces écoutes et tests divers le revendeur ne se soit pas suicidé

[ghozze]

Je vais essayer de répondre à Ogobert car il pose le problème de l'utilité d'un ABX dans un cas concret et fréquent. L'utilité dépendra de la question soulevée et de sa réponse. Je m'explique:

1. Aucune différence audible mise en évidence entre les appareils testés dans le test ABX. Cela signifie que pour les "oreilles" d'Ogobert il n'existe pas de différence significative dans les conditions de l'expérimentation. On admettra que celle-ci a été faite de façon rigoureuse avec de multiples extraits sonores "discriminants" etc. Certes, on ne peut pas conclure qu'une écoute de longue durée (difficile à réaliser dans le cadre d'un ABX) n'aurait pas produit des résultats différents mais il est vraisemblable que les différences si elles existent auraient été davantage de l'ordre du "subtil" plutôt que de l'évidence aisément quantifiable.

Vous dites qu'on ne peut pas conclure, mais vous concluez, et même vous extrapolez (aurait dit JACBRU ) dans le "vraisemblable", alors que justement l'AB/X par définition est réputé écarter le vraisemblable pour dire le vrai, et donc en aucune manière le vraisemblable qui est, en l'espèce, ce que l'on croit savoir déjà. Excusez-moi, mais on doit absolument s'en tenir à vos deux premières phrases, et rien de plus...

Vient là, l'utilité du test et de son résultat:
Si le nouveau matériel est plus beau, a une réputation de fiabilité supérieure, plus d'entrées utiles etc. Ogobert doit se poser la question "tout cela vaut-il la différence de prix?"; Cela reste un jugement d'ordre personnel et nul autre qu' Ogobert pourra répondre à cette question.

+ 1. Effectivement, un jugement qui reste d'ordre personnel, avec une infinité de tests ou aucun test...

Supposons maintenant que le nouveau matériel est beaucoup moins cher que l'ancien. Le choix pourra s'imposer comme évident alors. Je sais qu'il n'est pas évident pour des raisons essentiellement psychologiques de "downgrader" un système mais on peut également l'envisager pour des raisons pratiques (besoin d'argent, oreilles "moins performantes" dues à l'âge, amélioration de la technologie ou massification de celle_ci entrainant une baisse de prix etc.)

Si le choix s'impose comme évident, il l'est malgré le test AB/X raté. Autrement dit, c'est un choix qui n'a pas besoin forcément de l'AB/X pour s'imposer car il est induit par d'autres critères.

2. Il existe une différence au test ABX selon les oreilles affûtées d'Ogobert; Là effectivement, il faudra faire un nouveau test pour voir si cette différence se traduit en fait ou non par une préférence. Idéalement, ce test devra lui aussi être en aveugle ce qui ne simplifie pas les choses. De deux choses l'une. Soit il existe une préférence démontrée statistiquement, soit cela n'est pas le cas et on retombe sur les cas précédent en termes de choix. La préférence (si elle existe) justifie -t-elle la différence de prix etc.

+ 1. Sauf sur la dernière phrase qui n'a rien à voir avec l'AB/X...

Rien n'empêche ensuite de demander à tester le nouveau matériel chez soi pour des écoutes plus prolongées et en condition réelle avant de prendre une décision définitive. Il reste à espérer que dans l'intervalle de toutes ces écoutes et tests divers le revendeur ne se soit pas suicidé

On peut tester tous les jours que Dieu fait... Certains ne doivent pas s'en priver d'ailleurs...

[Lizandre]

Vous dites qu'on ne peut pas conclure, mais vous concluez, et même vous extrapolez (aurait dit JACBRU ) dans le "vraisemblable", alors que justement l'AB/X par définition est réputé écarter le vraisemblable pour dire le vrai, et donc en aucune manière le vraisemblable qui est, en l'espèce, ce que l'on croit savoir déjà. Excusez-moi, mais on doit absolument s'en tenir à vos deux premières phrases, et rien de plus...

La Vérité, c'est de la théologie. L'ABX, c'est une méthode dont la validité repose sur quelques tests statistiques, le vraisemblable est donc tout à fait adapté à la nature même des procédés statistiques.

Ceci dit, la réponse n'extrapole rien du tout, je vois pas comment tu peux affirmer une telle chose.

[Lizandre]

2. Il existe une différence au test ABX selon les oreilles affûtées d'Ogobert; Là effectivement, il faudra faire un nouveau test pour voir si cette différence se traduit en fait ou non par une préférence. Idéalement, ce test devra lui aussi être en aveugle ce qui ne simplifie pas les choses. De deux choses l'une. Soit il existe une préférence démontrée statistiquement, soit cela n'est pas le cas et on retombe sur les cas précédent en termes de choix. La préférence (si elle existe) justifie -t-elle la différence de prix etc.

+ 1. Sauf sur la dernière phrase qui n'a rien à voir avec l'AB/X...

Bien sur que si.

L'ABX permet à celui qui le pratique de déterminer s'il entend une différence, et dans l'exemple évoqué où une différence est entendue, si cette différence s'accompagne d'une préférence pour l'un ou l'autre matériel. Si la différence est entendue, et si elle se traduit pour une préférence significativement distincte du hasard pour l"un des appareils, alors de sérieuses informations sont devenues disponibles pour un choix raisonné.

[Robert64]

Et donc, puisque vous (vous et vos semblables ....) [/b] ...

C'est marrant ! J'ai déjà entendu ça quelquepart, mais où ?

[ghozze]

Vous dites qu'on ne peut pas conclure, mais vous concluez, et même vous extrapolez (aurait dit JACBRU ) dans le "vraisemblable", alors que justement l'AB/X par définition est réputé écarter le vraisemblable pour dire le vrai, et donc en aucune manière le vraisemblable qui est, en l'espèce, ce que l'on croit savoir déjà. Excusez-moi, mais on doit absolument s'en tenir à vos deux premières phrases, et rien de plus...

La Vérité, c'est de la théologie. L'ABX, c'est une méthode dont la validité repose sur quelques tests statistiques, le vraisemblable est donc tout à fait adapté à la nature même des procédés statistiques.

Ceci dit, la réponse n'extrapole rien du tout, je vois pas comment tu peux affirmer une telle chose.

Je ne parle pas de la Vérité, mais évidemment de celle qui est réputée sortir d'un test AB/X et de sa méthodologie, car je réponds à Hervé sur l'AB/X et pas autre chose. Que vous l'appeliez vraisemblable ne change rien au fait qu'elle ne dit pas autre chose que ce pourquoi le protocole AB/X a été mis en œuvre... L'AB/X n'indique pas, jusqu'à nouvel ordre, ce qui est subtil et ce qui ne l'est pas... C'est pourquoi c'est extrapoler que d'en parler... Ce qui est subtil pour un testé sera considérable pour un autre, etc.

[wald]

@ Ogobert. Pour ajouter, je l'espère sans confuser, aux posts qui précèdent.

Rappel : la phase non aveugle précède toujours la phase ABX. Je postule donc, pour l'exercice, que tu as entendu une différence (ton hypothèse), que rien n'a été modifié (m^êmes extraits discriminants pour toi, système inchangé au moindre détail près), mais que le passage en phase aveugle ne permet plus de la caractériser, concrètement que ne n'identifie pas 14/15 fois A ou B.

Si en phase ABX tu ne parviens plus à identifier la différence que tu identifiais pourtant l'instant d'avant en non aveugle, sans que rien n'ai changé, c'est un problème qui met principalement en cause ta sensation en non aveugle, il me semble, amis avant il faut avoir éliminé différentes hypothèses.

par exemple tu es fatigué, ce qui est concevable, surtout en cas de différences subtiles, et ton taux d'erreur en phase ABX monte (par exemple 3/15). C'est dur l'ABX, il faut reproduire sa performance un grand nombre de fois pour éliminer le hasard. On peut faire des erreurs marginales qui entachent la validation. Ce n'est pas grave il faut sans doute recommencer (voir les contraintes statistiques dans ce cas précis).

3/15 erreurs OK mais imaginons 8/15, ou pire. Si on s'est trompé une fois sur deux, ce serait alors sans doute autre chose et l'analyse peut être affinée : quelles ont été au juste tes impressions ? As tu eu le sentiment de différencier nettement, malgré le taux d'erreur considérable que tu vas révéler, ou bien plutôt celui d'être un peu perdu voire de ne plus vraiment entendre la différence et de répondre parce qu'il faut bien répondre et qu'on s'accroche à trois fois rien ? La pratique de l'ABX m'a montré qu'il ne sert à rien d'imaginer des hypothèses sur le papier. Dans mon expérience où celle des autres Kangourous, la sensation qui marque le plus souvent les forts taux d'erreur a été celle de ne plus vraiment entendre de différence. Pour ma part, j'abandonne même le test dans ces hypothèses. Quand à l'inverse on a eu le sentiment -en phase ABX - qu'il y en avait toujours avec évidence cette différence ; et bien on réussissait le test ou bien le taux d'erreur était très faible et valait la peine de recommencer.

Rater son ABX veut-il dire qu'on ne pourrait pourtant rien en tirer quant à l'existence d'une différence ?

j'ai bien dit "son" ABX et non " un auditeur lambda a raté l'ABX". Dans ce dernier cas il est admis que peut être il a une faible capacité discriminante, il n'a pas choisi les bons extraits, il n'était pas en forme, il a été influencé par d'autres participants etc. On ne peut tirer d'un négatif une généralité. Si ça se trouve je réussirais là où il a échoué. Mais quand c'est soi-même (ton hypothèse), c'est autre chose. On a testé sa propre capacité à reproduire en aveugle ce que l'on pensait avoir identifié en non aveugle. Notre propre échec ne vaut sans doute pas pour les autres mais je pense qu'il vaut pour celui qui l'a essuyé. Poiur ma part je dirais que si je ne parviens pas à ABXer une différence, c'est donc qu'elle n'est pas audible pour moi.

@ ghozze (qui ne me répondra pas mais tant pis) : Dire, comme tu le dis, que ne pas vouloir croire à tout (en l'occurrence à toutes les différences audibles entre matériels) serait prétendument équivalent à ne croire à rien est bien entendu un sophisme ou, au choix (et/ou si on veut ) une sottise, et pour le coup, c'est une sottise du type "évident". Ne vaut pas la peine, au bout d'un moment et quand on a compris le procédé, d'en discuter.

[ghozze]

2. Il existe une différence au test ABX selon les oreilles affûtées d'Ogobert; Là effectivement, il faudra faire un nouveau test pour voir si cette différence se traduit en fait ou non par une préférence. Idéalement, ce test devra lui aussi être en aveugle ce qui ne simplifie pas les choses. De deux choses l'une. Soit il existe une préférence démontrée statistiquement, soit cela n'est pas le cas et on retombe sur les cas précédent en termes de choix. La préférence (si elle existe) justifie -t-elle la différence de prix etc.

+ 1. Sauf sur la dernière phrase qui n'a rien à voir avec l'AB/X...

Bien sur que si.

L'ABX permet à celui qui le pratique de déterminer s'il entend une différence, et dans l'exemple évoqué où une différence est entendue, si cette différence s'accompagne d'une préférence pour l'un ou l'autre matériel. Si la différence est entendue, et si elle se traduit pour une préférence significativement distincte du hasard pour l"un des appareils, alors de sérieuses informations sont devenues disponibles pour un choix raisonné.

La justification d'une différence de prix ne dépend exclusivement du résultat d'un AB/X. Donc, ma phrase « Sauf sur la dernière phrase qui n'a rien à voir avec l'AB/X... » est fausse.

[ghozze]

Monsieur wald, je ne vous répondrai jamais, car l'expérience me montre que ce serait m'exposer davantage à votre mépris... Je ne fais pas partie de ceux qui tendent l'autre joue...

Tout cela, vous le savez déjà.

[corsario]

Rater son ABX veut-il dire qu'on ne pourrait pourtant rien en tirer quant à l'existence d'une différence ?

j'ai bien dit "son" ABX et non " un auditeur lambda a raté l'ABX". Dans ce dernier cas il est admis que peut être il a une faible capacité discriminante, il n'a pas choisi les bons extraits, il n'était pas en forme, il a été influencé par d'autres participants etc. On ne peut tirer d'un négatif une généralité. Si ça se trouve je réussirais là où il a échoué. Mais quand c'est soi-même (ton hypothèse), c'est autre chose. On a testé sa propre capacité à reproduire en aveugle ce que l'on pensait avoir identifié en non aveugle. Notre propre échec ne vaut sans doute pas pour les autres mais je pense qu'il vaut pour celui qui l'a essuyé.

+1, c'est très vrai : rater son ABX d'une part, ou lire que quelqu'un n'a pas réussi à ABXer telle ou telle chose d'autre part, c'est totalement différent. On peut toujours se dire que le testeur qui a raté est une brêle ou qu'il n'a pas trouver les bons extraits, etc. Mais quand on s'est trouvé confronté soi-même à l'expérience de voir les différences disparaître, on en a tiré un enseignement, c'est sûr.

Pour ma part je dirais que si je ne parviens pas à ABXer une différence, c'est donc qu'elle n'est pas audible pour moi.

Je ne dirais pas ça la première fois. On a toujours envie de recommencer pour voir si, sur un autre extrait, en étant plus concentré, on ne va pas pouvoir la trouver cette différence.

En fait l'ABX, de mon point de vue, c'est aussi un jeu. Une sorte de performance sportive, un défi quoi. C'est ludique. C'est "T'es même pas cap d'entendre la différence en aveugle", et toi tu réponds : "si je suis cap !". C'est pour ça que c'est radicalement différent des tests en médecine : en hifi ça peut être une discipline éventuellement solitaire (pas besoin d'échantillon de population : ça se passe entre moi et moi), presque un sport. Où on peut s'entraîner, améliorer ses performances (on commence par faire un 4/5 et puis avec de l'entrainement on arrive à 14/15. Au début on différencie le MP3 128 kbps du CD et puis avec de l'entraînement on arrive à différencier le 256 kbps du CD, et si on est un champion le 320 kbps du CD), et essayer le nombre de fois qu'on veut jusqu'à ce qu'on réussise (ou pas). C'est comme essayer de battre un record. Le but n'est pas que toute la population batte le record. Le but est qu'un athlète arrive à battre le record. Bref, la dimension ludique et défi de l'ABX est importante.

Et effectivement, quand après s'être entraîné et avoir essayé plusieurs fois on n'y arrive pas, alors ces échecs successifs commencent à s'imprimer en toi : "la différence doit être vraiment peu audible pour que je n'arrive pas à l'entendre malgré tous mes efforts"

Mais le vrai champion n'abandonne pas

Je ne fais pas partie de ceux qui tendent l'autre joue...

Effectivement, toi tu fais plutôt partie de ceux qui tendent le baton pour se faire battre

[ghozze]

Pourquoi, monsieur Corsario, ne pas utilisez votre temps, qui doit être précieux, à réussir enfin vos tests ?...

[corsario]

Pourquoi, monsieur Corsario, ne pas utilisez votre temps, qui doit être précieux, à réussir enfin vos tests ?...

Parce que là je suis en phase de récupération . C'est repos aujourd'hui. Là j'écoute de la musique (ça), en sirotant un rhum arrangé (je sais le rhum c'est punk, le cognac c'est mieux, mais bon, c'est mon côté créole) et je rêve à la platine Marantz vintage de 1988 que j'ai glané sur ebay hier soir, avec son DAC TDA1541A, en me demandant si elle aura un son différent de ma carte son Lynx, et si pourrais les différencier toutes les deux en aveugle ou pas. Bref, de très ordinaires rêveries d'objectivistes moyens

[wald]

Pour ma part je dirais que si je ne parviens pas à ABXer une différence, c'est donc qu'elle n'est pas audible pour moi.

Je ne dirais pas ça la première fois. On a toujours envie de recommencer pour voir si, sur un autre extrait, en étant plus concentré, on ne va pas pouvoir la trouver cette différence.

Moi non plus je voulais dire après avoir réessayé. Comme je le disais, on analyse son échec et on recommence éventuellement.

En fait l'ABX, de mon point de vue, c'est aussi un jeu. Une sorte de performance sportive, un défi quoi. C'est ludique. C'est "T'es même pas cap d'entendre la différence en aveugle", et toi tu réponds : "si je suis cap !". C'est pour ça que c'est radicalement différent des tests en médecine : en hifi ça peut être une discipline éventuellement solitaire (pas besoin d'échantillon de population : ça se passe entre moi et moi), presque un sport. Où on peut s'entraîner, améliorer ses performances (on commence par faire un 4/5 et puis avec de l'entrainement on arrive à 14/15. Au début on différencie le MP3 128 kbps du CD et puis avec de l'entraînement on arrive à différencier le 256 kbps du CD, et si on est un champion le 320 kbps du CD), et essayer le nombre de fois qu'on veut jusqu'à ce qu'on réussise (ou pas). C'est comme essayer de battre un record. Le but n'est pas que toute la population batte le record. Le but est qu'un athlète arrive à battre le record. Bref, la dimension ludique et défi de l'ABX est importante.

Et effectivement, quand après s'être entraîné et avoir essayé plusieurs fois on n'y arrive pas, alors ces échecs successifs commencent à s'imprimer en toi : "la différence doit être vraiment peu audible pour que je n'arrive pas à l'entendre malgré tous mes efforts. Mais le vrai champion n'abandonne pas

Et ben, si avec ça ce n'est pas encore plus compliqué qu'avant L'aspect ludique est important, oui, c'est certain (et c'est bien pour ça que je ne comprend pas pourquoi tant de résistance à ne serait-ce qu'essayer...Ca me dépasse !) .

Mais il y a quelque chose de troublant, c'est concevable, à entendre dire qu'il faut essayer et réessayer pour réussir. On se dit spontanément " ah alors, on entend moins bien en ABX !". C'est une erreur. Il est seulement plus difficile d'entendre une différence 14 fois sans erreur sur 15 séances consécutives. C'est cette performance là, reproduire presque sans faille sa sensation, qui marque vraiment la spécificité de la procédure de validation ABX. Après, on peut toutefois penser que si elle n'apparaît que difficilement ou qu'on ne parvient pas à trouver des extraits discriminants pour la mettre en valeur, c'est que de toute façon elle est trop faible pour qu'on (le testeur) l'estime pour soi-même audible et digne d'intérêt.

Une fois encore, certains audiophiles décrivent des différences qui n'ont rien de vaporeuses selon eux et qui, si leur mots ont un sens, devraient passer sans difficulté le cap des 14/15 essais réussis. Alors parlons de ce qui fâche; ces différences sont elles audibles plusieurs fois de suite en double aveugle ?

A noter que la recherche de Ohl est d'une nature complémentaire et se place sous un l'angle du technicien (au sens noble, mais de toute façon, c'est noble). Si une personne entend une différence en ABX (peu important qu'éventuellement bien d'autres ne l'entendent pas), cela signifie que deux appareils produisent un résultat audible différent. La raison technique de cette différence l'intéresse, notamment parce que c'est son boulot et qu'il cherche à corréler mesures et écoute. Quand les mesures connues n'apportent pas de réponse à la différence certifiée par ABX, Ohl estime la différence toutefois incontestable et, pour le lire régulièrement, c'est pour lui une piste pour approfondir les mesures, leur interprétation et la conception des appareils.

L'approche critique de Jacbru, mais en toute franchise je vais préférer sa présentation par Hervé qui s'affranchit des considérations - à mon avis parfois critiquables -, relatives à la propre expérience d'audiophile de Jacbru, est que l'ABX audio est de peu d'utilité pour apprécier notamment la proportion des personnes capables d'identifier ces différences (qui sait si la différence entendue n'est pas marginale, pour un type de signal très particulier, audibles seulement par une très bonne oreille. dans ce cas à quoi nous sert un ABX positif, à rien nous dit Jacbru, car il ne vous renseigne pas sur ces paramètres).

Cette réflexion est très intéressante (pour moi) mais je signale qu'elle suggère que l'ABX pourrait parfois surreprésenter la différence subtile, ce qui reste à approfondir et doit surprendre les opposants habituels de la méthode qui imaginent souvent tout le contraire . Quoiqu'il en soit, à ma connaissance, cette dimension manque effectivement à l'analyse. Et on voit bien qu'en allant sur ce terrain on doit pouvoir trouver d'autres limitations liées à la difficulté/impossibilité de réaliser des ABX audio à grande échelle suivis d'un questionnaire dont on aura tout aussi soigneusement définis les entrées ainsi que le traitement des réponses. Donc l'ABX audio, à ce jour, et je ne suis pas loin d'être d'accord, serait un outil dont la spé d'utilisation est assez étroite. Ce n'est pas génant si on le sait et qu'on ne lui fait pas dire plus qu'il ne le peut.

Seconde critique majeure : l'ABX audio ne sert à rien pour dresser une hiérarchie.

Je m'en étonne car je crois que ce n'est pas exact dans certains cas de figure (les codec) mais je ne saurais pas en dire plus. Quoiqu'il en soit, ce n'est effectivement pas son usage premier mais, identifier l'existence des différences est une question qui indubitablement précède la hiérarchisation des matériels (par rapport à quoi d'ailleurs cette hierarchie, vaste question, simple préférence, recherche de la fidélité ? On imagine ce que ce genre de tests plus complexes entraînerait comme débats. Imaginez ce résultat : 63 % des auditeurs ont entendu une différence, 37 % ne l'on pas entendu ou bien se sont trompé à plusieurs reprises... parmi les 63 % précités, 30 % ont préféré l'ampli A, 21 % l'ampli B mais 13 % leur ont trouvé des caractéristiques différentes sans pourvoir les départager... Ok, vous choisiriez quoi à lire ce résultat ? A, B, les deux, un cognac ?

Troisième critique majeure : Comme l'ABX audio négatif ne prouve rien, à quoi sert un test qui, le plus souvent, ne prouve rien.

C'est la critique la plus contestable parce qu'elle est la plus séduisante en apparence : voir à ce sujet le post de Ogobert qui pousse la logique à son maximum : j'entend une différence en non aveugle, je ne parviens pas à la confirmer en aveugle mais ça ne prouve pas que je n'avais pas correctement entendu la différence. Ce qui n'est pas exact comme Corsario et moi l'avons exposé. La répétition d'un ABX négatif prouverait (de manière certe réfragable) que Ogobert ne parvient pas à reproduire dans un protocole qui élimine les biais autant que possible, l'identification de différences qu'il avait entendu dans une écoute biaisée par la connaissance des appareils. L'ABX négatif a ainsi une valeur pour lui-même, mais non pour les autres. Si cent autres personnes n'y parvenaient pas non plus, on avancerait vers la conclusion que la plupart des gens n'entendent pas cette différence (100 = chiffre arbitraire pour la démonstration, ce peut être plus ou moins selon le contexte). Mais si un 101 em réussissait soudain, cela inviterait à comprendre ce qui le distingue des autres notamment sur le plan physiologique voire culturel (ou que sais-je encore), à moins que l'analyse montre une faille méthodologique ou encore qu'il a eu la chance d'entendre la différence sur un signal spécifique qu'aucun autre n'a essayé, ce qui aiderait à caractériser la différence.

Donc la critique est infondée du point de vue du testeur pour lequel le résultat négatif est signifiant. Elle reste partiellement fondée sous l'angle général et montre une nouvelle fois l'étroitesse d'emploi de l'ABX audio, tant qu'on est incapable de lancer des sessions ABX sur un nombre important de testés, lesquelles permettraient statistiquement de traiter un résultat négatif ou globalement négatif.

Cela étant, existe-t-il une alternative ? Pas encore vu qui que ce soit qui ait proposé quelque chose. Alors on fait avec ce qu'on a et on en tire des conclusions modestes.

En outre il est inexact de dire que les ABX sont presque toujours négatifs, il ne le sont que souvent et cela dépend des catégories objets de comparaisons. les comparaisons de Codec sont très riches en positifs,celles de câbles très pauvres. Ce n'est pas une critique en soi contre la méthodologie mais en revanche ça peut être la démonstration d'un phénomène sériel finalement devinable avec un peu de bon sens sur la base d'un double constat : (1) il existe des arguments techniques sérieux pour justifier de ce que des appareils correctement réalisés suivant des principes similaires donnent des résultats audibles identiques ou à peine différentiables et (2) la diversité des CR et l'excès manifeste de beaucoup trop d'entre eux invite à se poser des questions sur la méthodologie d'écoute et la sureté des sensations des auditeurs. Si 5 personnes entendent 5 choses différentes chacune de leur coté, laquelle a raison ? Si 4 de ces personnes sur 5 avaient tort, pourquoi la 5em n'aurait-elle par tort aussi ?

[Pio2001]

En tous cas je reste très songeur devant une étude sur un phénomène à évaluation purement subjective pour lequel on tirerait des conclusions définitives, absolues, avec un seul "cobaye".

De quelle étude veux-tu parler ? La seule personne prétendant tirer des conclusions absolues et définitives d'un ABX réussi est Grand X. Mais il ne s'agit, je pense, que d'une simplification destinée à expliquer la différence entre un succès (on a vérifié en aveugle que la différence était audible), et un échec (on n'a rien pu vérifier du tout). Une fois cette différence assimilée, on peut poursuivre l'analyse plus finement.

Dans les CR de rencontres avec Grand X, aucune conclusion absolue n'est assénée, et encore moins dans les autres.

Je m'en étonne car je crois que ce n'est pas exact dans certains cas de figure (les codec) mais je ne saurais pas en dire plus.

On peut dresser une hiérarchie en double aveugle, mais pas en ABX. On peut le faire directement avec une analyse statistique sur des préférences individuelles, mais comme la notion de préférence est subjective, et n'est pas spécialement controversée, on n'en voit pas trop l'utilité.

Avec les codecs, le classement visait à établir l'écart de chaque échantillon testé par rapport à une référence absolue, le fichier original. Les codecs étaient classés non selon la préférence de chacun, mais selon la question "la différence avec la référence vous paraît-elle 1-Très gênante / 2-Gênante / 3-Légèrement gênante / 4- Perceptible mais pas gênante / 5-Imperceptible ?". Le protocole était l'ABC/HR. L'échelle de notation proposée aux participants était calibrée en incluant une "low anchor" dans les échantillons (un codec très mauvais supposé recevoir la note 1). L'analyse utilisée a été d'abord l'Anova, dans les premiers tests, puis on est passés à la Tukey HSD, moins sensible aux faux positifs. Il y avait à chaque fois 15 à 20 extraits musicaux pour chaque codec testé, et le test était clos lorsqu'une vingtaine de participants avait donné assez de réponses (tout le monde n'étant pas tenu de comparer chaque extrait musical).
Pour la petite histoire, les résultats où la référence était confondue avec le fichier encodé ("ranked reference") étaient écartés, et si un auditeur avait trop de "ranked rerferences", je crois que tous ses résultats étaient écartés.

[Igor Kirkwood]

Le test en simple aveugle, comme le test en double aveugle ne sont pas la panacée, ils ne sont pas non plus l'inverse à repousser d'une fourche. Bref, il faut leur donner la place qu'ils méritent.

Et n'en faire ni une arme idéologique au service du moins disant technologique cher à certains (tout se vaut) ni le repousser au nom d'une autre idéologie pas plus glorieuse : car tant que ses préférences restent du domaine du privé, pas de problème, mais dès lors qu'elles sont érigées en vérité sur un forum : il ne s'agit plus de préférences personnelles.

Bref, l'ABX comme le test en aveugle, utilisé sans qu'ils soient manipulés par des idéologues, apportent aux amateurs que nous sommes, un peu de rationalité dans un monde prêt à croire n'importe quoi pour peu que ce soit une co.nnerie de première : et on en a des exemples magnifiques depuis quelques années.

Alain

Quelques notes...et Chant Grégorien après une semaine d'enregistrement a l'Abbatiale de Sainte Madeleine du Barroux...

-Oui Alain le tout ABX, comme le sus aux ABX peuvent devenir l' idéologie des moins disants technologiques ou des trop disants audiophiles.

-Le choix consensuel par les participants du niveau d'écoute de tests aveugles me semble comme a Pio et Grand X important, afin de faciliter une audition sereine (cela avait été fait lors des tests aveugles d'amplis publiés par Diapason puis par HCFR).

-JACBRU souligne l'extrême sophistication des tests ABX lors des expérimentations médicales.

Je trouve ce fil passionnant .....et en redemande.

Igor Kirkwood