Test en aveugle

[Mahler]

Si la personne reussit un 29/3O, pas besoin de refaire le test. Si elle réussit un 7/8, alors il persiste un doute statistique. Le tout pondéré pas le nb de tests identiques ratés.

[wald]

Pas le temps syber de poster complètement sur ta question finale mais oui, le monde vinicole est allé bon an mal an au test en aveugle avant tout par par survie, pour éviter la décrédibilisation d'un secteur, le trouble des consommateurs, le tout sur la toile de fond des grandes fraudes révélées dans les années 70 et 80. La dégustation a généralisé ce principe sans qu'on se pose aujourd'hui beaucoup de questions à ce sujet mais, comme on l'a dit, l'analogie ne doit pas être envisagée point par point. La mise en oeuvre est aussi beaucoup plus facile même s'il existe des protocoles assez rigoureux. Enfin , pour finir vite sur une note qui manque ici, la dégustation en aveugle est généralement joyeuse et toujours pleine de surprises et d'enseignements. Un apprentissage très efficace, une découverte de soi-même à travers ses sensations et une école de l'humilité (je dis ça et je ne dis rien...)

Par ailleurs je te rejoins totalement sur ce point :

Je suis navré de le dire, mais les lignes ont bougé du côté de ceux qui ont pratiqué ces tests car ils ont multiplié leurs expériences d'écoute et elle restent figés de l'autre.

Nous ne parlons pas clan contre clan, ce qui serait puéril (de quoi on parle, de hifi, tu parles d'un enjeu), mais nous nous situons au niveau de l'argument et de l'enseignement. J'ai le sentiment d'une radicalisation et d'un glacis du coté de ceux qui réfutent ce protocole - et dont le dénominateur commun est de refuser de l'essayer, on se demande bien pourquoi -, alors que ceux qui l'exploret réellement en tirent des observations concordantes modestes mais passionnantes et sont autrement plus nuancés que la caricature immuable qu'on dresse d'eux, comme si aucun des résultats et impressions qu'on a publié n'avait d'importance.

[grand x]

Pour étendre la positivité de ce résultat dans le temps et/ou au reste de la population il faut tout de même que ce résultat puisse se répéter. Si le résultat ne peut pas être étendu cela l'appauvrit singulièrement et lui ôte pour le coup quasiment tout intérêt.

Non, et c'est là que tu te trompes:
Si on accepte le fait que la réponse positive du test ne s'est pas faite par hasard (et en général la personne qui pratique et réussit le test sait et dit si elle ressent des différences, et les décrit, ce qui limite encore le risque de réponse par hasard), grâce au nombre de bonnes réponses demandé en fonction du nombre d'essais d'un test, le résultat n'a pas besoin d'être ensuite répété pour être valide, et ne peut plus être invalidé par des échecs postérieurs.
C'est justement le point important du test ABX, c'est son essence même, son intérêt.
si ce n'était qu'un outil statistique, il perdrait tout intérêt.
C'est vraiment ça qu'il faut comprendre quand on parle d'ABX, et que pennent à comprendre quelques-uns de ceux qui n'en ont pas pratiqué.
La positivité du test est immédiate, et ne nécessite pas de répétition.
Mon cachalot aura existé, même si on ne le croise plus. Personne ne pourra revenir dessus (sauf à dénoncer une supercherie): si la constatation première est valide, elle l'est à jamais. Le cachalot géant existe, son existence est définitivement prouvée, même si plus personne ne peut le constater en le retrouvant dans ses filets de pêche. Je ne comprends pas bien ce qui n'est pas clair là dedans.

Et non aussi à Mahler: il n'y a pas à pondérer. Un résultat de test de 14 bonnes réponses sur 15, ou 29 sur 30, n'ont pas à être pondérés par des échecs ultérieurs ou précédents. Ils valident le test définitivement.
Comme l'existence de mon super cachalot. Il existera, et la pondération par les pêches bredouilles n'y changera rien.

[corsario]

Le but en hifi est de voir, si on décèle une différence entre deux appareils.

euh...
non: le but des écoutes en aveugle hifi est plus de déterminer l'appareil qui conviendra le mieux.
Le test en aveugle ne peut servir qu'a dire : voyons voyons: mes sens ne m'auraient-ils pas abusé?
Mais à l'heure actuelle, on (je ) ne sait pas si le test ABX ne "masque" pas des différences utiles et déterminantes dans le choix. C'est en tout cas mon interrogation.

Et en test ABX, il n'y a pas de problème lié au faible nombre de participants: 1 personne qui réussit le test produit le même résultat que si 150 y arrivent avec lui.
Faut juste avoir la bonne personne ...

On rejoint là l'autre fil celui sur les cables.
Mais je crois que tu fais une erreur. Il suffit d'un seul bon résultat pour prouver qu'une fois une personne a trouver une différence avec un taux de probabilité très élevé que ce ne soit pas par pure chance.
Pour étendre la positivité de ce résultat dans le temps et/ou au reste de la population il faut tout de même que ce résultat puisse se répéter. Si le résultat ne peut pas être étendu cela l'appauvrit singulièrement et lui ôte pour le coup quasimment tout intérêt.

Pas tout à fait. Ce que l'on appelle un test ABX réussi (par une personne par exemple) requiert que cette personne l'ait réussit (disons) au moins 14 fois sur un total de 15 essais. La chance n'a alors plus lieu d'être. Une seule personne (pourvu qu'elle ait fait un nombre suffisant de tests) suffit à valider un test ABX positif (même s'il est évidemment préférable que d'autres personnes renouvellent ce test, ne serait-ce que pour vérifier que la première personne n'a pas fait d'erreur).

Ce que voulait dire Herve25 en parlant de nombre de participants, c'est dans le cas de tests ABX négatifs et pour en tirer des conclusions (ce qui est toujours tendancieux), et il y met de nombreuses réserves :

Quand on ne décèle pas de différence, on n'est pas tellement plus avancé car avant de pouvoir décréter que les appareils sonnent de façon identique, il faut éliminer les causes liées au protocole imparfait, au nombre insuffisant de participants ou de mesures etc. Par ailleurs, il est possible que des différences non décelables apparaitraient en fait au cours d'écoutes au long cours mais celles ci sont difficiles en aveugle pour des raisons pratiques sans compter la fatigue auditive.

(c'est moi qui souligne)

EDIT : bon ben avec Mahler et GrandX on est trois à avoir répondu la même chose : je pense que c'est clair pour Oryzon maintenant.

EDIT2 : Est-ce que Hervé25 pourrait nous dire dans quel domaine il pratique les tests en aveugle et si dans ce domaine on tire des conclusions de tests négatifs et si oui dans quelles conditions (à partir de combien de participants ayant échoués, etc...).

[oryzon]

Oui et non.
Je crois que l'on ne se comprend pas, je dois mal m'exprimer.

Imaginons que la personne fasse un 30/30. Parfait n'est-ce pas ?
Maintenant imaginon qu'on lui refasse faire le même test une semaine plus tard avec pour résultat un 14/30.
Qu'en conclure ? Imaginons qu'à chaque fois qu'on lui refasse on obtienne ce type de résultat. Imaginons que l'on fasse tester 1000 personnes plusieurs fois chacune et que toutes ponde un résultat négatif.

Que penser alors de ce test réussi ?

[Mahler]

Et non aussi à Mahler: il n'y a pas à pondérer. Un résultat de test de 14 bonnes réponses sur 15, ou 29 sur 30, n'ont pas à être pondérés par des échecs ultérieurs ou précédents. Ils valident le test définitivement.

Si 100 000 mélomanes testent un câbles X, tu penses qu' une personne (sur 100 000) ayant un succés à 12/13 établit une vérité ? Non, celà peut-être du au hasard. (même si il y a carctérisation préalable de la différence)

Mais en pratique, tu as bien sûr raison, on ne fera jamais 100 000 tests pour en avoir un positif.

[grand x]

Le test réussi s'imposera, c'est le seul à pouvoir porter conclusion.
Les tests non réussis ne peuvent jamais donner lieu à aucune affirmation(sinon qu'on a rien trouvé, et que c'est difficile).
Oryzon, je crois qu'il faut que tu reprennes les premières discussions sur les kangourous et les tests ABX qui ont suivi.
UN TEST ABX REUSSI L'EST DEFINITIVEMENT
Pour une raison simple: le résultat de 30 /30 n'est pas possible par hasard (on en a écarté la possibilité par le nombre de réussites à avoir par rapport au nombre d'essais). il me semble que 14 bonnes réponses sur 15 tentatives de suite font moins de chance de réponde au hasard que si 100 000 personnes avaient fait ce test et 1 seul l'avait réussi. Corsario pourra donner les chiffres exacts.
Ce résultat n' est possible que parce que le testeur a réellement perçu une différence permettant d'identifier sans erreur A et B. il suffit qu'il ait pu le faire une fois pour que la différence entre A et B soit définitivement certifiée, même s'il est le seul à le faire avec certitude.

[corsario]

Oui et non.
Je crois que l'on ne se comprend pas, je dois mal m'exprimer.

Imaginons que la personne fasse un 30/30. Parfait n'est-ce pas ?
Maintenant imaginon qu'on lui refasse faire le même test une semaine plus tard avec pour résultat un 14/30.
Qu'en conclure ? Imaginons qu'à chaque fois qu'on lui refasse on obtienne ce type de résultat. Imaginons que l'on fasse tester 1000 personnes plusieurs fois chacune et que toutes ponde un résultat négatif.

Que penser alors de ce test réussi ?

Il faudra demander à la personne qui l'a réussi ce qu'elle en pense : les seules explications que je vois sont :
1) Il y avait une erreur de protocole lors du premier test (ex : des niveaux mal égalisés) qui ont rendu possible le succès
2) la personne était bionique et elle a subit une brusque chute de son audition entre les deux tests

Sérieusement c'est le point 1 qui sera le plus probable.

On pourrait discourir des heures sur ta question, mais elle est théorique. Et en pratique ce n'est pas ça qui arrive, c'est le contraire :
- 10 personnes échouent.
- puis 1 personne réussit, et explique comment et en écoutant quoi et à quel moment.
- une part non négligeable des personnes qui échouaient réussissent alors
(il y a eu un sujet là-dessus quelque part, si quelqu'un a le lien ?)

[grand x]

C'est exactement ça: ce qui conforte les résultats ici, c'est que la personne qui réussit sait pourquoi et l'explique, et l'enseigne aux autres participants

Et en général , ceux qui ne sont pas sûrs d'eux l'expriment, et ça se retrouve toujours à l'analyse des résultats (échec de la tentative).

Ces 2 éléments d'un coté créditent encore plus les réussites, et de l'autre éliminent d'autant les risques de réussite par hasard, en plus de la très très faible probabilité laissée par le nombre de bonnes réponses exigées

[tkfu]

Ceux qui ont participé à ces tests - dont moi, puisque tu sembles me lire attentivement - ont relevé ce que nous avons appelé le paradoxe des Kangourous. C'est même moi qui suit à l'origine de l'ABX3 sur ce point (plus très sur du n°), après avoir employé en son temps l'expression (toujours de mémoire) : je suis devant une contradiction. On a constaté un paradoxe ou une contradiction, on a fait des hypothèses, on les a testé ... : démarche saine et constructive. Comment faire autrement ? On aimerait que cette démarche de saine curiosité non dogmatique soit partagée. Elle ne l'est pas. Soit ! Dont acte !

On en arrive à constater sur ces débats des stratégies d'évitement d'une rare sophistication, d'une telle sophistication que l'on finit par soupçonner leurs auteurs de mauvaises intentions. De quoi parle t-on en fait : 4 ou 5 personne ont écouté deux amplis en égalisant les niveaux et n'ont pas entendu de différence. La belle affaire que voilà ! Ces mêmes personnes, ou presque, ont écouté de la même façon trois pré-amplis : ils n'arrivaient pas différencier deux des préamplis et en revanche arrivaient à différencier le 3° des deux précédents. Les mesures des bandes passantes des trois pré-amplis montrent que celles des deux premiers sont identiques et que le 3° à une bande passante irrégulière à cause de la présence d'harmoniques.

Heuuu... j'ai pas suivi : quel paradoxe ?

Et je n'ai pas compris le passage des "débats des stratégies d'évitement d'une rare sophistication"... sincèrement. Tu peux donner un exemple pour comprendre à quoi tu fais allusion, stp ?
(le reste est compréhensible, il y a que la première phrase du deuxième paragraphe que je n'arrive pas à accrocher au reste, c'est gentil de préciser)

L'important est bien que chacun se régale à faire comme il le sent et ce qui lui plaît.

Dans la mesure où on n'impose rien aux autres comme incontournable, que l'on a rangé les moqueries, et que l'on évite d'opposer et de hiérarchiser, la cohabitation ne pose guère de problème, ce topic en est un exemple.

Je n'ai jamais relevé de réel problème, moi non plus.
En général, en adoptant dans une position "humaine" ce forum est d'une bonne tenue. La passion l'anime.
Et les moqueries, bah, elle restent souvent à la mesure de ce qu'on peut récolter entre amis: dans la limite du respect mutuel.

(c'est tard, j'en conviens, j'arrête là)

J'aurai pas pu dire mieux! merki

[corsario]

Le test réussi s'imposera, c'est le seul à pouvoir porter conclusion.
Les tests non réussis ne peuvent jamais donner lieu à aucune affirmation(sinon qu'on a rien trouvé, et que c'est difficile).
Oryzon, je crois qu'il faut que tu reprennes les premières discussions sur les kangourous et les tests ABX qui ont suivi.
UN TEST ABX REUSSI L'EST DEFINITIVEMENT
Pour une raison simple: le résultat de 30 /30 n'est pas possible par hasard (on en a écarté la possibilité par le nombre de réussites à avoir par rapport au nombre d'essais). I
Ce résultat n' est possible que parce que le testeur a réellement perçu une différence permettant d'identifier sans erreur A et B. il suffit qu'il ait pu le faire une fois pour que la différence entre A et B soit définitivement certifiée

Sauf s'il y a eu une erreur de protocole (ex : niveaux mal égalisés)

Mais c'est facile à corriger/vérifier : si on doute du succès de Pierre vu qu'il est le seul à avoir réussi, on lui demande de recommencer. S'il réussit à nouveau, et si on n'a pas confiance, on peut pousser la méfiance jusqu'à lui demander de faire le test devant des témoins qui contrôlent le protocole et vérifient qu'il n'y a ni erreur involontaire ni triche.

Mais encore une fois ce problème est théorique et sans importance. Il sera toujours temps d'en discuter s'il se présente : il suffira de demander à Pierre comment il a fait, ce qu'il a entendu, et d'autres essaieront de reproduire ce succès. Et généralement ça marche.

Ne nous posons pas des problèmes hypothétiques avant qu'ils n'arrivent, surtout si tout montre qu'ils ont très peu de chance d'arriver...

[Mahler]

Le test réussi s'imposera, c'est le seul à pouvoir porter conclusion.
Les tests non réussis ne peuvent jamais donner lieu à aucune affirmation(sinon qu'on a rien trouvé, et que c'est difficile).

oui, mais il y a un monde d'interprétations entre les deux. Entre celui qui est surpris de na pas retrouver en abx ce qu'il ressent au jour le jour et celui chez qui, finalement, l'abx ne fait que confirmer son impréssion que les diffrénces sont toutes en nuances une fois les niveaux égalisés, et bien il y a de quoi discuté.

(je parle de diff entre ampli ou platines cd bien constuites, je ne parle pas des démagnétiseurs d'air en pierre du chili ...)

[oryzon]

Je ne dois pas me faire comprendre...

En gros Je vais essayer différemment. Prenons ton analogie avec ton cachalot, elle n'est pas je pense complètement pertinente mais tu saisiras peut-être mieux où je veux en venir.

Imaginon que tu croises ton cachalot. Parfait tu as établit l'existence des cachalots. Maintenant imaginons que personne absolumment personne en prenant les mêmes bateaux, en allant aux mêmes endroits ne les voient jamais. Que leur apporte ldans la pratique e fait de savoir que quelqu'un a vu le cachalot ? Rien. Or une différence qui n'a été audible que pour une personne à un moment donné t mais qui l'est pas/plus quelle est son intérêt pour le domaine qui nous intéresse ? Faible voire nul je pense.
Et cela sans même remettre en cause l'existence de ton cachalot. ce qui pourtant serait tentant sinon on pourrait déjà dire que les extra terrestres existent.
Mais c'est une autre discussion.

[oryzon]

Mais en réalité cette discussion est selon toute probabilité purement théorique. Mais intellectuellement parlant je pense que Themisto a raison sur ce point.

Edit : grilled by Corsario

[Mahler]

les stats sont strictes oryzon, si tu fais un 30/30, la diff existe picétoutn même si tu es le seul au monde. (sauf ma reserve, cf mon post pout garndX, et sauf erreur de protocole)