DaveStarWalker a écrit:Pio2001 a écrit:C'est pourquoi, si tu fais intervenir des câbles d'enceintes, je pense qu'il faut viser, pour ton test, un risque de faux succès de 1 pour 1000 maximum. Compte tenu du contexte, cela ramène vers 1 % la probabilité que quelqu'un ait obtenu, ou cité sur le forum, un ABX de câbles faussement positif.
vraiment, vraiment pas simple... pour une question de temps aussi : en comptant les débranchements, rebranchements, extraits musicaux... ça semble difficile, en un après-midi, de dépasser, je ne sais pas, 30 passages. En comptant par exemple large, 5min de manipulations diverses à chaque fois, 30, ça nous fait 150 minutes... et en prenant pour base des extraits de 30 secondes disons... pas simple
30 essais, c'est assez énorme, en effet. Rassure-toi, il n'y aura pas besoin d'autant.
Le strict minimum pour obtenir un risque d'erreur de 1/1000 est 10 essais. Avec un sans faute d'une seule traite, le risque de faux succès est alors égal à 1/(2 puissance 10) = 1/1024.
DaveStarWalker a écrit:oui : je serais le seul auditeur, avec un manipulateur qui fera la "basse besogne"(pas marrant
). La seconde personne est là finalement en tant que témoin (pas beaucoup plus marrant). Ceci dit, je n'implique pas que ces 2 personnes (FDRT et Boris_da) n'entendent pas les différences, s'il y en a. Pourquoi pas, elles aussi, noter leurs impressions. Mais le résultat de l'ABX sera calculé uniquement sur mes notes. Question de simplicité aussi. Oui, ce que tu proposes est une bonne formule amha
Là, on risque d'avoir un problème. Ou plutôt, moi.
En effet : imaginons le cas de figure suivant. 15 essais sont réalisés. Ton score est de 9/15. Echec du test. Cependant, Boris_da, qui notait ses réponses "juste pour voir", obtient 15/15.
Le protocole étant ce qu'il est, les réponses de Boris ne comptent pas. Il doit recommencer. Mais il n'y a plus le temps, et par la suite, Boris ne trouve personne pour prêter des câbles tout aussi dissemblables et faire les manipulations, ou alors sur son système à lui, cela ne marche pas...
Pourra-t-on continuer à affirmer que personne n'a réussi à distinguer les câbles en aveugle ? Cette position ne sera pas tenable. Seulement le succès n'étant pas validé, ce qu'il va se passer, c'est que c'est bibi qui va se taper des calculs a posteriori, et je ne sais pas trop comment je vais procéder, vu qu'il n'existe aucune formule pour ça. S'il a obtenu, disons 13/15, alors là je vais être dans la mouise. Il me faudra peut-être développer un logiciel de simulation pour évaluer le risque de faux succès dans ce cas de figure précis.
Donc pour m'éviter cela, je vais compter directement le témoin comme auditeur. Il pourrait s'abstenir d'écouter, mais les occasions de participer à un ABX sont si rares qu'on ne va pas l'en priver.
Pour l'instant, les calculs sont simples, car 0.001 est très petit devant 1. On peut donc dire que si chacun a une chance sur 2000 d'obtenir un faux succès, à vous deux, vous avez une chance sur 1000. Ce qui est le résultat recherché.
Avec deux auditeurs, on cherche donc un score individuel tel que la probabilité de faux succès ne dépasse pas 1/2000.
Pour un nombre d'essais déterminé à l'avance, on a
Sans faute : 11 bonnes réponses sur 11 suffisent.
Avec une erreur : 14 bonnes réponses sur 15 suffisent.
Avec deux erreurs : 17 bonnes réponses sur 19 suffisent.
Si tu avais été seul, on aurait eu 10/10, 13/14, et 15/17 (p=0.00117, on ne va pas chipoter).
Je parlerai du protocole un peu plus tard. Déjà, ce que je te conseille, c'est, une fois l'opérateur sur place, de faire quelques essais en aveugle "pour de faux". Tu pourras ainsi déterminer juste avant de commencer si tu préfères viser un sans faute ou pas.
Tu peux également envisager de faire une série de tests très rapides et peu fiables, mais dont l'accumulation finira par donner un score significatif. Par exemple, 31 bonnes réponses sur 40, cela suffirait.
Personnellement, j'ai des doutes sur cette dernière méthode, trop propice aux erreurs. Je trouve beaucoup plus fiable de faire des écoutes très appliquées, avec parfois beaucoup de répétitions entre A, B et X, des pauses etc, avant de donner une réponse, mais une réponse absolument certaine.
Créé le 28 Oct 2019 23:43
