Test en aveugle

[corsario]

Je ne dois pas me faire comprendre...

En gros Je vais essayer différemment. Prenons ton analogie avec ton cachalot, elle n'est pas je pense complètement pertinente mais tu saisiras peut-être mieux où je veux en venir.

Imaginon que tu croises ton cachalot. Parfait tu as établit l'existence des cachalots. Maintenant imaginons que personne absolumment personne en prenant les mêmes bateaux, en allant aux mêmes endroits ne les voient jamais. Que leur apporte ldans la pratique e fait de savoir que quelqu'un a vu le cachalot ? Rien. Or une différence qui n'a été audible que pour une personne à un moment donné t mais qui l'est pas/plus quelle est son intérêt pour le domaine qui nous intéresse ? Faible voire nul je pense.
Et cela sans même remettre en cause l'existence de ton cachalot. ce qui pourtant serait tentant sinon on pourrait déjà dire que les extra terrestres existent.
Mais c'est une autre discussion.

je me répète Oryzon : on parlera de ça le jour où ça arrivera, sinon on va perdre du temps à discuter de quelque chose qui ne peut pas arriver : personne pour le moment n'a été le seul sur terre à réussir un test en aveugle

[Edit : posts croisés : ce point comme quoi cette discussion est purement théorique et donc sans objet est bien acquis maintenant apparemment). Mais il reste un point intéressant :]

D'autre part tu mélanges deux choses : voir un cachalot à un endroit à un moment donné fait intervenir la chance.
Réussir un test ABX à 14/15, en l'absence d'erreur de protocole et de triche, ne fait pas intervenir la chance.

Donc la personne qui l'a réussit le réussira le lendemain et tous les jours de l'année s'il le faut (puisqu'elle ne l'a pas réussit par chance mais parce qu'elle a entendu la différence et qu'elle sait comment l'entendre).

Elle pourra l'expliquer à d'autres, qui réussiront à leur tour le test (on l'espère pour eux)

Pour reprendre l'exemple (biaisé) du cachalot, la personne réussira à voir (et à photographier) un Cachalot tous les jours si on le lui demande : elle sait où trouver les cachalots, elle ne compte pas sur la chance.

Je ne pensais pas que tu n'avais pas compris ça. Ca montre qu'il faut toujours répéter et répéter.

[grand x]

Le test réussi s'imposera, c'est le seul à pouvoir porter conclusion.
Les tests non réussis ne peuvent jamais donner lieu à aucune affirmation(sinon qu'on a rien trouvé, et que c'est difficile).

oui, mais il y a un monde d'interprétations entre les deux. Entre celui qui est surpris de na pas retrouver en abx ce qu'il ressent au jour le jour et celui chez qui, finalement, l'abx ne fait que confirmer son impréssion que les diffrénces sont toutes en nuances une fois les niveau égaluisé, et bien il y a de quoi discuté.

(je parle de diff entre ampli ou platines cd bien constuites, je ne parle pas des démagnétiseurs d'air en pierre du chili ...)

Les interprétations entre les 2 positions que tu décris sont justement les questions que nous essayons de résoudre. C'est la zone de sables mouvants que nous nous efforçons de stabiliser, ou en attendant de sonder, d'évaluer, d'expérimenter. Sur cette zone précise, personne ne peut se permettre d'être affirmatif, dogmatique ou autre.

[Mahler]

Le pb de cette zone de sables mouvants, c'est qu'il y a des pros pour la stabiliser (rares) et des pros qui la dynamite en permanence à coups de poncifes et de pubs farfelues.

Financièrement, il est plus rentable de dynamiter.... à court terme seulement amha.

[oryzon]

Je ne dois pas me faire comprendre...

En gros Je vais essayer différemment. Prenons ton analogie avec ton cachalot, elle n'est pas je pense complètement pertinente mais tu saisiras peut-être mieux où je veux en venir.

Imaginon que tu croises ton cachalot. Parfait tu as établit l'existence des cachalots. Maintenant imaginons que personne absolumment personne en prenant les mêmes bateaux, en allant aux mêmes endroits ne les voient jamais. Que leur apporte ldans la pratique e fait de savoir que quelqu'un a vu le cachalot ? Rien. Or une différence qui n'a été audible que pour une personne à un moment donné t mais qui l'est pas/plus quelle est son intérêt pour le domaine qui nous intéresse ? Faible voire nul je pense.
Et cela sans même remettre en cause l'existence de ton cachalot. ce qui pourtant serait tentant sinon on pourrait déjà dire que les extra terrestres existent.
Mais c'est une autre discussion.

je me répète Oryzon : on parlera de ça le jour où ça arrivera, sinon on va perdre du temps à discuter de quelque chose qui ne peut pas arriver : personne pour le moment n'a été le seul sur terre à réussir un test en aveugle

[Edit : posts croisés : ce point comme quoi cette discussion est purement théorique et donc sans objet est bien acquis maintenant apparemment). Mais il reste un point intéressant :]

D'autre part tu mélanges deux choses : voir un cachalot à un endroit à un moment donné fait intervenir la chance.
Réussir un test ABX à 14/15, en l'absence d'erreur de protocole et de triche, ne fait pas intervenir la chance.

Donc la personne qui l'a réussit le réussira le lendemain et tous les jours de l'année s'il le faut (puisqu'elle ne l'a pas réussit par chance mais parce qu'elle a entendu la différence et qu'elle sait comment l'entendre).

Elle pourra l'expliquer à d'autres, qui réussiront à leur tour le test (on l'espère pour eux)

Pour reprendre l'exemple (biaisé) du cachalot, la personne réussira à voir (et à photographier) un Cachalot tous les jours si on le lui demande : elle sait où trouver les cachalots, elle ne compte pas sur la chance.

Je ne pensais pas que tu n'avais pas compris ça. Ca montre qu'il faut toujours répéter et répéter.

Non j'avais compris, c'est juste la manière dont j'utilise l'analogie qui peut faire croire que. Ce que je voulais dire c'est que s'il y a eu une personne qui a entendu une différence une fois mais que personne ne l'entend plus jamais ça ne sert à rien. Cela ne signifie pas une remise en cause du fait que la différence a bien été entendu mais juste que cela ne sert à rien aux autres. Or l'intérêt de ces tests à mon sens c'est bien en cas de réussite leur caractère universel.
Voilà. Mais effectivement il ne faut pas mettre la charue avant les boeufs. On verra en temps voulu.

[grand x]

Oryzon:
Tu n'as pas compris:
l'unique intérêt de l'ABX est de certifier de l'existence d'une différence audible (ou possiblement audible, si elle n'est pas partagée par tous) rien de plus.
Que ce soit dommage et peu exploitable ne change rien. Le test ABX ne veut rien d'universel ou de partage, il dit "c'est ça !", que l'ensemble des auditeurs le perçoive ou non.
L'intérêt qu'il apporte est cette certitude de différence, que nous recherchons lors de nos écoutes.

[corsario]

Oryzon:
Tu n'as pas compris:
l'unique intérêt de l'ABX est de certifier de l'existence d'une différence audible (ou possiblement audible, si elle n'est pas partagée par tous) rien de plus.
Que ce soit dommage et peu exploitable ne change rien. Le test ABX ne veut rien d'universel ou de partage, il dit "c'est ça !"
L'intérêt qu'il apporte est cette certitude de différence, que nous recherchons lors de nos écoutes.

Je pense qu'Oryzon a compris : ce qu'il veut dire c'est que si une personne entend une différence (et l'entend tous les jours car il n'est pas possible que cette personne l'entende un jour et ne l'entende plus le lendemain, ce passage reste erroné dans la phrase d'Oryzon) mais qu'il est le seul, c'est sans intérêt pratique.

C'est encore un cas d'école : ça veut dire que cette personne est bionique (a une audition extra-ordinaire). Là encore, est-ce que c'est possible ? Les expériences menées prouvent au contraire que les personnes soit-disant à l'oreille super fine en ABX sont en fait super expérimenées en ABX et peuvent faire partager cette expériences aux autres qui réussissent à leur tour.

La réussite en ABX s'apprend et s'enseigne. C'est pour le moment un postulat, mais je pense qu'on peut facilement le montrer, si ce n'est pas déjà fait.
C'est en tout cas un point important en faveur de l'ABX je trouve.

[grand x]

Le pb de cette zone de sables mouvants, c'est qu'il y a des pros pour la stabiliser (rares) et des pros qui la dynamite en permanence à coups de poncifes et de pubs farfelues.

Financièrement, il est plus rentable de dynamiter.... à court terme seulement amha.

Le problème est que le bétonnage de ces zones à risque ne peut se faire, pour le moment, qu'avec l'ABX. Mais si l'ABX ne peut pas venir sur certaines zones (ce que je suppose à l'heure actuelle), c'est pas gagné d'avance pour stabiliser.

Si ça se trouve, les tenants du "c'est du solide, il y a des différences même si non encore ABXées" ont peut-être raison, mais sans démonstration, l'instabilité (et les zones de conflit) subsistent. Et il y a par ailleurs des zones carrément liquides, qui s'avèreront farfelues ou trop infimes pour être intéressantes à l'écoute.

[syber]

La réussite en ABX s'apprend et s'enseigne.

Bien sur !

C'est une évidence pour ceux qui y ont participé. Nos capacités discriminantes se sont améliorées au fur et à mesure car nous avons appris à écouter différemment.

Et nous pourrions encore améliorer nos performances en participant à un stage d'apprentissage de l'écoute (bon, il faut payer ... ) ; je sais que cela existe car TMS (je crois) en a parlé.

[oryzon]

Le pb de cette zone de sables mouvants, c'est qu'il y a des pros pour la stabiliser (rares) et des pros qui la dynamite en permanence à coups de poncifes et de pubs farfelues.

Financièrement, il est plus rentable de dynamiter.... à court terme seulement amha.

Le problème est que le bétonnage de ces zones à risque ne peut se faire, pour le moment, qu'avec l'ABX. Mais si l'ABX ne peut pas venir sur certaines zones (ce que je suppose à l'heure actuelle), c'est pas gagné d'avance pour stabiliser.

Si ça se trouve, les tenants du "c'est du solide, il y a des différences même si non encore ABXées" ont peut-être raison, mais sans démonstration, l'instabilité (et les zones de conflit) subsistent. Et il y a par ailleurs des zones carrément liquides, qui s'avèreront farfelues ou trop infimes pour être intéressantes à l'écoute.

Les vrais pb c'est hervé25 qui les a soulevé je pense :

J'ai une expérience de 20 ans environ dans le domaine des tests à l'aveugle (dans une autre discipline) que j'ai dirigé avec des protocoles précis établis de façon consensuelle avec de nombreux experts. Ces tests ont évidemment leurs limites mais il ne sert à rien de les traiter avec dédain pour cela.
Le but en hifi est de voir, si on décèle une différence entre deux appareils. Si c'est le cas vient le problème de la reproducibillté du résultat. Comme on l' a dit plus tôt, différence n'est pas synonyme avec supériorité ou infériorité, ce qui pour certains lui fait perdre une grande part de son utilité pratique. Quand on ne décèle pas de différence, on n'est pas tellement plus avancé car avant de pouvoir décréter que les appareils sonnent de façon identique, il faut éliminer les causes liées au protocole imparfait, au nombre insuffisant de participants ou de mesures etc. Par ailleurs, il est possible que des différences non décelables apparaitraient en fait au cours d'écoutes au long cours mais celles ci sont difficiles en aveugle pour des raisons pratiques sans compter la fatigue auditive.
C'est pourquoi, j'ai du mal à croire qu'il puisse exister une revue indépendante qui s'amuse à faire de tels tests dans des conditions rigoureuses et les marques estiment sans doute qu'elles ont plus à perdre qu'à gagner de sponsoriser de telles études.

A savoir : qui a aujourd'hui intérêt à lancer la banalisation des tests ?
C'est déprimant mais je crois qu'à part si un passionné milliardaire se saisit du sujet cela ne se fera jamais à grande échelle.

[corsario]

Je crois que le fil que vient d'ouvrir Corsario (p'tin, encore lui ) viewtopic.php?f=1029&t=29921860 sur un ABX * positif entre deux sources, et là chacun pourra participer car il a mis les fichiers en ligne, relativise grandement ces discussions théoriques.

On ne cesse de le dire, la meilleure manière d'apprécier la question de l'ABX en toute connnaisance de cause, c'est de ne pas oublier d'essayer, sans se limiter à une réflexion sur le papier qui tourne vite en rond autour de beaucoups trop de faux problèmes.

(*) Pas lu tout son fil : il écrit A/B et non ABX mais pas encore répéré pourquoi

Je n'avais pas encore répondu à ça :
Dans le premier post c'est un simple test A/B que je fais car je compare deux lecteurs, à niveaux égalisés, et je les ai enregistrés en synchro en commutant de temps en temps de l'un vers l'autre. Je n'ai donc fait aucun test, encore moins en aveugle. Le fichier que je mets à dispo permet à tout le monde d'écouter cette comparaison. Mais pas de faire de test en aveugle. Car dans un premier temps j'avais préféré publier un seul wav que l'on peut écouter : la bascule étant faite dans le fichier, la différence était facilement audible par tout le monde, c'était plus simple, mais pas une preuve. Donc A/B, pas ABX

Par contre, suite à la suggestion de Denis31, j'ai créé deux fichiers issus de chacun des lecteurs et enregistrés sur leur sortie ligne, et dont j'ai égalisé les niveaux également. Je viens de les mettre à dispos et de raconter les résultats. Là chacun peut faire un test ABX s'il veut. Je l'ai fait, c'était facile : 15/15.

Voilà tu sais tout. Je pourrais éditer le titre et mettre ABX maintenant. mais je vais laisser A/B pour ne pas braquer les allergiques à l'ABX

[syber]

C'est fou comme les gens sont gênés dès que l'on parle de X !




PS :cette phrase, irrésistible de drôlerie, comporte plusieurs sens de lecture

[herve25]

Pour ceux que cela intéresse et qui me l'ont demandé, j'ai conduit, organisé des tests en aveugle dans le domaine des médicaments (contre produit actif et/ou placebo). Bien entendu, il serait impossible et absurde de reproduire la même méthodologie dans le domaine d'une comparaison ABX mais il y a quelques éléments communs qui peuvent être soulignés et qui sont à mon avis utiles à la discussion. Pour la clarté du débat et éviter que mon message ne soit trop long, j'en prendrais 3

1. Un test en aveugle ne résout pas tout et est d'ailleurs parfaitement inutile si le protocole, la méthodologie ou l'analyse à effectuer ne font pas l'objet d'un consensus entre experts AVANT que l'expérience ait lieu. Si toutes les conditions sont réunies, un protocole en aveugle sera dans ce cas toujours supérieur à un protocole non aveugle.

2. Grossièrement, il existe deux risques principaux dans le cadre d'une comparaison (que les puristes m'excusent, j'essaie de faire simple).

2a. Le risque alpha qui est de démontrer l'existence d' une différence qui ne serait pas due à la chance ou au hasard. Par convention, on accepte généralement un risque de 5% pour que la différence trouvée ne soit pas due au hasard. On peut ainsi calculer facilement que par exemple si un individu sur 30 expériences a pu déterminer de façon exacte si il entendait l'ampli A ou l'ampli B dans 29 cas sur 30, ce risque alpha est bien inférieur à 5% et donc d'après la convention ci-dessus non dû au hasard.

2b. Le risque beta est un peu plus subtil à appréhender. Il s'agit du risque lié au fait de ne pas mettre en évidence une DIFFERENCE QUI EXISTE EN REALITE. Contrairement au risque alpha, il n'y a pas de consensus universel sur la valeur à accepter pour ce risque car tout dépend de la nature de la comparaison. Le risque beta est d'autant plus élevé que la différence entre deux produits est faible. Si la différence à trouver est importante pour la science (par exemple comparaison de deux anti-cancéreux), on fera une étude qui tentera de minimiser le risque beta (la contrepartie est bien entendu qu'il faut multiplier le nombre de personnes testées et de mesures pour diminuer le risque beta ce qui peut rendre l'étude tellement complexe et longue qu'elle en devient impraticable). On comprendra que pour la comparaison de deux amplificateurs, on sera moins regardant sur la valeur risque beta.
3. La généralisation des résultats obtenus.
Si la majorité des auditeurs ( avec ou sans apprentissage) est capable de déceler une différence, on peut parier (encore!) sur l'extrapolaribilité des résultats à une population générale. Si seulement, un ou deux auditeurs sont capables de faire la différence alors que les 28 autres en sont incapables, cela ne remet pas en cause l'existence d'une différence mais l'utilité de celle ci.

[syber]

Hervé, merci pour ces explications très claires.

[expertdoc]

J'ai une expérience de 20 ans environ dans le domaine des tests à l'aveugle (dans une autre discipline) que j'ai dirigé avec des protocoles précis établis de façon consensuelle avec de nombreux experts. Ces tests ont évidemment leurs limites mais il ne sert à rien de les traiter avec dédain pour cela.
............

Pour ceux que cela intéresse et qui me l'ont demandé, j'ai conduit, organisé des tests en aveugle dans le domaine des médicaments (contre produit actif et/ou placebo). ....

Tu penses sincèrement que l'ABX audio est comparable aux protocoles d'essais thérapeutiques en double aveugle vs placebo ?

Niveau fiabilité?

[Themisto]

Imaginons que la personne fasse un 30/30. Parfait n'est-ce pas ?
Maintenant imaginon qu'on lui refasse faire le même test une semaine plus tard avec pour résultat un 14/30.
Qu'en conclure ? Imaginons qu'à chaque fois qu'on lui refasse on obtienne ce type de résultat. Imaginons que l'on fasse tester 1000 personnes plusieurs fois chacune et que toutes ponde un résultat négatif.

Que penser alors de ce test réussi ?

N'importe qui concluerait qu'on a oublié une variable, et que le protocole a des fortes chances d'être faux.

Une analyse statistique n'est pas la même peu importe le nombre de variables: une discussion préalable doit déterminer la totalité des variables et leur interaction potentielle.

Un exemple: On ne peut demander à 1000 personnes s'ils pensent que l'Albanie est riche, si on ne tient pas compte du fait qu'il puisse avoir des personnes qui ne savent pas ce que "l'Albanie" veut dire.