ogobert a écrit:Ton cas "il ne démontre rien du tout" est mon cas 1) ou tu pensais à une autre configuration ?
Non, je pensais au cas 2. C'est d'ailleurs un cas courant dans les tests en aveugle. Comme les auditeurs ont entendu la différence en dehors du test et pas dans le test, ce sont les conditions du test qui masquent les différences. Raisonnement imparable. Le rédacteur en chef de Stereophile (c'est bien lui ?) est un ardent défenseur de cette théorie.
ogobert a écrit:Le principe de laisser "carte blanche" aux paticipants me géne.
Ca fait un peu, "on va jouer à un jeu et on va inventer les règles au fur et à mesure".
En général, on fixe un protocole à l'avance, celui ci est connu, et accepter de participer à l'expérience implique l'acceptation du dit protocole.
Oui, il est temps que j'écrive le protocole.
ogobert a écrit:J'ai l'impression que ce dont tu as peur, c'est que des participants qu'on a "collé" parce qu'ils n'ont pas fait de différence viennent ensuite contester les résultats, me trompe-je?
Pour moi, il faut raisonner sur l'ensemble. On aura pas non plus 100%. S'il y en a 9 qui entendent en double aveugle en 1 qui ne fait pas la différence, on peut en déduire qu'il y a bien une différence et qu'un des membre du panel était sourd
En fait nos divergences de point de vue viennent tout simplement du principe que tu t'attends à environ 90 % de réussite, alors que je m'attends à 0 à 1 %.
Je propose donc de commencer par un test simple aveugle en blanc (pour de faux). Les résultats ne seront pas pris en compte, quels qu'ils soient, mais serviront à préparer le test double aveugle. Ainsi on saura s'il faut porter nos efforts sur une démonstration du placebo ou une démonstration de l'effet audible.
En aucun cas les conclusions ne seront biaisées par le choix de la méthode. C'est la présence ou l'absence de conclusions que l'on pourra moduler.
Je m'explique : démonrtrer que "c'est tout du flan" prendrait au moins un an. Faisons le test en simple aveugle. S'il réussit, on boucle le double aveugle en vitesse, et en une ou deux demi-journées, c'est reglé. Si le simple aveugle rate et que les auditeurs pensent pouvoir faire mieux, arguments à l'appui, pas la peine de garder le même protocole pour le double aveugle, il ratera aussi, et ce ne sera a priori pas à cause du placebo (voir arguments en question). Il faudra repenser le double aveugle en tenant compte des remarques des auditeurs (extraits trop courts, trop longs, fatigue au bout de 20 écoutes, etc)
ogobert a écrit:Et pour que le test soit pertinent, il faut au préalable que ces 7 personnes soient supposées entendre parfaitement une différence si elle existe, quelle qu'elle soit.
C'est là que je ne comprends pas pourquoi...
On a un "fait" : techniquement, les cables testés sont différents.
Et on a une "hypothèse" qu'on veut démontrer : cette différence technique induit une différence audible.
A partir de là, si on a comme résultat "une écoute en double aveugle démontre qu'il y a une différence", on est bon.
Et si le résultat est "une écoute en double aveugle démontre qu'il y n'a pas de différence", l'hypothèse est rejettée.
Je ne vois ce qu'apporte de + de dire "quand on leur dit qu'on change, les testeurs entendent une différence mais quand en double aveugle ils n'en entendent plus". L'hypothèse est à rejetter pareil, non ?
une écoute en double aveugle démontre qu'il y a une différence", on est bon.
D'accord.
Et si le résultat est "une écoute en double aveugle démontre qu'il y n'a pas de différence", l'hypothèse est rejettée.
Là c'est beaucoup plus complexe. S'il y en a qui ont plus d'éxpérience que moi en études statistiques, ils peuvent nous aider. Déjà, l'hypothèse n'est rejetée que si on a un échantillon représentatif de la population, ce qui n'est pas notre cas. 6 auditeurs, c'est trop peu. Il faudrait être au minimum 20. Ensuite, l'hypothèse ne peut pas être rejetée si les conditions du test diffèrent des conditions d'écoute domestiques. C'est l'argument principal contre les tests en aveugle. On dit qu'ils échouent parce qu'un câble ne s'écoute pas sur 20 secondes d'audio passées en boucle.
C'est pourquoi je considère important que les auditeurs puissent dire "on entend une différence si on est prévenus du changement", on rejette ainsi l'hypothèse qu'un câble n'exprime pas son son dans les conditions du test.
Restera à pouvoir rejeter aussi l'hypothèse comme quoi l'écoute en aveugle trouble l'auditeur. Pour cela il faut laisser s'entraîner les auditeurs qui ont du mal. Le problème, c'est que cela rentre en conflit avec l'analyse statistique : si on répète le test indéfiniment "jusqu'à ce que ça marche", on n'a rien prouvé du tout. Un test finira toujours par marcher au bout d'un nombre N de tentatives. De même qu'en jouant au loto pendant des millions d'années, on finira toujours par gagner. On perd donc la démonstration que l'hypothèse de départ (différence audible) est positive.
La solution est de faire des faux tests d'entraînement. S'ils échouent, les auditeurs ont tout le temps de réessayer jusqu'à ce qu'ils avouent ne pas entendre la moindre différence. S'ils réussissent, on passe au double aveugle pour de vrai, et on ne peux pas dire que l'aveugle trouble l'auditeur.
Maintenant, je dois voir avec Alesk pour faire les "règles du jeu". Je posterai un premier jet, une vue d'ensemble, pour avoir l'avis de tout le monde, et à partir de là on pourra rédiger un "règlement" complet.
!
