Bon je m’attaque à un gros morceau, un exercice théorique pour définir de manière synthétique la méthodologie, les intérêts et la lecture des résultats d’un test en aveugle !!!
Ce pensum m’est dicté par un débat qui semble faire rage entre subjectiviste et objectiviste, faux débat s’il en est, et qui divise des pensées qui sont pourtant très proches.
Alors commençons par les termes subjectivistes et objectivistes qui semblent vouloir dire que d’un côté nous avons des personnes qui ne feraient confiance qu’à leurs oreilles pour choisir leur matériel et de l’autre des personnes qui ne font confiance qu’aux mesures et / ou aux tests en double aveugle pour choisir le leur. C’est bien entendu faux, tout le monde écoute avec ses oreilles et cela m’étonnerait fortement que l’objectiviste le plus forcené puisse acheter un ampli ou une paire d’enceintes sans l’écouter au préalable. Comme, en général, on essaye une voiture avant de l’acheter même si l’un aura craqué sur l’esthétique tandis que l’autre aura compilé des dizaines de revues techniques avant de se décider.
En fait, les critères de choix pour du matériel audio sont différents selon chacun, l’un va préférer l’esthétique, l’autre se pencher sur les mesures techniques et le 3ème préférer une approche plus conceptuelle
La ou cela se complique, c’est qu’intervient alors une notion bien naturelle de hiérarchisation, tout le monde sait qu’une Audi coûte plus cher qu’une Renault et il est admis que si ces deux voitures vont à 130 KM / H sur autoroute les éléments qui les différencie ont un coût qui explique la différence de tarif sans, d’ailleurs, qu’on soit obligé de reconnaître cette différence comme un atout selon le point de vue d’ou on se place.
En haute fidélité ces notions de valeurs sont bien plus floues et si tout le monde s’accorde à reconnaître que chaque système produit du son nous n’avons aucune mesure concrète pour juger de la qualité de ce dernier, difficile de dire qu’un système peine à 100 Km / H et que l’autre dépasse allégrement les 140 Km / H
D’ou un débat entre ceux qui vont hiérarchiser les valeurs d’un système à l’aune de leurs jugements, « c’est le jour et la nuit » et d’autres qui souhaitent une hiérarchisation plus normative avec, entre autre, une méthode : les test en double aveugle ou ABX, sujet de ce post
Il y a une troisième catégorie, la plus heureuse, celle qui s’en fiche car ils estiment posséder un système apte à leur procurer du plaisir musical et ils ont la sagesse de s’en contenter.
Il est vrai, chacun de nous a pu le constater, dans le domaine de la haute fidélité il est difficile de se faire un jugement précis sur les apports de tels ou tel accessoire ou la réelle différence entre un ampli x et un qui lui ressemble techniquement mais qui coûte 2 ou 3 fois son prix. D’abord parce qu’il est difficile de comparer soi-même beaucoup de matériel, ensuite parce qu’un système est une question d’association ce qui rend difficile la généralisation des constats d’écoute ensuite parce que les motivations de chacun sont très différentes, la personne qui va écouter de l’opéra dans 60 m2 ne pourra avoir la même approche dans le choix de son matériel qu’une autre qui va écouter de la techno ou de la house dans 15 m2
Je ne parle pas du monde des revues spécialisées ou des experts dont les avis sont souvent contradictoires.
En fait ce débat entre objectiviste et subjectiviste est simplement un débat, amha, sur des méthodes de hiérarchisation qualitative du matériel et des accessoires.
Les tests en double aveugles sont, à mon avis, utiles pour répondre à des questions qui peuvent paraître surprenantes comme : est-ce qu’un fusible peut changer le son d’un ampli ?
A priori cela paraît surprenant mais certain l’entendent, alors plutôt que de se « déchirer » sur ce point, un test en double aveugle bien réalisé permettrait de répondre à la question suivante. Est-ce qu’avec un ampli X, 5 auditeurs différents ont pu discerner la sonorité des fusibles et ce sur suffisamment de tests pour qu’on puisse statistiquement écarter l’idée de hasard dans les réponses. On ne pourra répondre à plus et si certain pensent que les fusibles changent le son sur un ampli Y, le test en double aveugle réalisé sur l’ampli X ne pourra les contredire
Ils sont également utiles dans d’autres cas, par exemple les nouvelles technologies, classe D, posent une question : le son d’un ampli classe D est-il plutôt tributaire de sa carte d’amplification, module icepower, tripath, gemincore ou de sa mise en œuvre ?
On sait qu’il est possible de faire sonner des mosfet de différentes manières ainsi que des EL34, est-ce la même chose avec les modules en classe D ou la marge de manœuvre est plus étroite ?
L’idée de ce post est d’envisager un modèle théorique et synthétique pour « l’organisation » d’un test en double aveugle pour simplement se rendre compte de la méthodologie, de l’organisation, des enjeux et des conclusions qu’il sera possible d’en tirer.
Je propose de partir sur un modèle théorique de test sur les ampli à base de modules ice power. Quand je dis modèle théorique cela veut dire de proposer une méthodologie, une organisation, une manière d’exploiter les résultats qui pourront être reproduit pour tout type de test.
Comme cela, chacun pourra se faire une idée concrète sur les tests en double aveugle, moi le premier et c’est bien pour cela que je m’emm..rde
Je me propose de synthétiser les informations mais je serais incapable de les fournir donc j’attends Pio 2001, Haskil et d’autres pour expliquer
Cordialement
P.S : j’ai réservé les messages suivants pour les explications et définitions des tests en double aveugle pour permettre une vue synthétique de l’affaire mais c’est Pio 2001 qui se charge d’écrire tout cela car il est plus compétent que moi en la matière. Il s’agit donc de sa prose et je tiens à lui rendre ce qui lui appartient car je n’aurais pas été capable de vous expliquer cela avec autant de précision. Merci Pio 2001
|
Modérateurs: Modération Forum Haute-Fidélité, Le Bureau de l’Association HCFR • Utilisateurs parcourant ce forum: blam17, CHICOTE85, choky, darkobiwan, domaud, drew, DSAGNES, jean GROS, lolo05, metoujpense, MIC22, Patrice75015, rolex, skate, Taisetsu458 et 150 invités
Discussions sur le matériel Haute-Fidélité
Définition des tests en aveugle par Pio 2001
C’est quoi un test en double aveugle ?
Un test en aveugle est une écoute comparative dans laquelle l'identification des appareils testés ne peut être faite qu'en écoutant leur son.
S'ils ont le même son, impossible de les reconnaître. S'ils n'ont pas le même son, il est possible de les reconnaître.
Un test ABX consiste à comparer deux appareils entre lesquels une différence est audible pour s'assurer que la différence vient bien des appareil, et non de notre imagination. Ne riez pas, c'est beaucoup plus courant qu'on ne le pense.
Il consiste à présenter à l'auditeur trois sources nommées A, B et X. A et B sont les deux appareils à comparer. Ils servent de référence pour identifier X, qui est tiré au sort. C'est soit l'appareil A, soit l'appareil B, mais il sont cachés à la vue de l'auditeur. L'auditeur doit dire, en écoutant à volonté A, B, et X, sans limite de temps, et dans toutes les conditions qu'il souhaite, si X est l'appareil A, ou si c'est l'appareil B.
Une série de tirages au sort est effectuée en respectant certaines règles statistiques pour déterminer leur nombre afin de s'assurer que l'auditeur identifie toujours bien la bonne source sonore.
Définitions
Test en aveugle : test dans lequel la seule source d'information pour le sujet à propos des essais sont les stimuli. (définition donnée par l'ITU dans ITU-R BS.1116-1).
En audio, nous généralisons cette définition à l'ensemble des tests dans lesquels les appareils sont masqués à l'auditeur de sorte qu'il ne sait pas ce qu'il écoute. Même s'il connaît la liste des appareils testés.
Test en double aveugle : test en aveugle dans lequel il n'y a pas d'interaction non contrôlée possible entre l'expérimentateur et le test (source : idem)
Notez que cette définition n'implique pas que l'expérimentateur ignore lui-même le résultat du tirage au sort. Il suffit de s'assurer qu'il ne puisse le suggérer à l'auditeur par aucun indice tel qu'un mouvement de bras pour appuyer sur un bouton, le déclic particulier d'un bouton, une hésitation le temps de mettre en route un appareil compliqué, un soupir lorsqu'il faut brancher telle prise trop serrée, etc.
Sujet : auditeur, personne qui passe le test.
Comment marche un test ABX ?
Voici par exemple comment se présente un programme permettant de faire des tests ABX sur un ordinateur, entre deux fichiers audio A et B.
Il s'agit du programme PCABX, d'Arnold Krueger. Page web : http://www.pcabx.com/
Les trois boutons A, B, et X au milieu permettent à l'auditeur de lancer la lecture du fichier A, du fichier B, ou du fichier X. L'auditeur peut les écouter autant de fois qu'il le désire. Leur durée n'est pas limitée. Ils peuvent durer 5 secondes, 30 secondes, deux heures...
En dessous, les boutons "X is A" et "X is B" (X est A, X est B) permettent à l'auditeur de choisir sa réponse.
Les boutons "Next trial" et "Previous trial" permettent de passer au tirage au sort suivant, ou de revenir à un tirage précédent. Ainsi, si l'auditeur, au 5ème essai, s'aperçoit d'une différence qu'il n'avait pas remarquée et qui lui permet d'identifier X, il peut revenir en arrière et changer ses réponses précédentes en réécoutant l'ancien tirage au sort de X.
Enfin, une fois que l'auditeur pense avoir donné suffisament de bonnes réponses, il clique sur le bouton "Test over, check answers" (Test terminé, voir les réponses). Le programme affiche alors le score final, une évaluation de sa pertinence en terme de probabilités, et affiche dans l'une des deux cases du bas un X en face de la bonne réponse pour chaque essai. A gauche si X était A, à droite si X était B.
Ce système est transposable en hifi avec l'aide d'un tiers. Voici à l'oeuvre les membres de l'association audiophile Matrix-Hifi, en train de faire passer un test en aveugle à un groupe d'auditeur. Ils appellent cela le HABX, ou Human ABX (voir http://www.matrixhifi.com/contenedor_ppec_eng.htm ) :
Ainsi, les auditeurs n'ont qu'à demander à écouter A, B, ou X, et les expérimentateurs branchent discrètement la source correspondante, derrière le rideau.
C’est quoi un test en double aveugle ?
Un test en aveugle est une écoute comparative dans laquelle l'identification des appareils testés ne peut être faite qu'en écoutant leur son.
S'ils ont le même son, impossible de les reconnaître. S'ils n'ont pas le même son, il est possible de les reconnaître.
Un test ABX consiste à comparer deux appareils entre lesquels une différence est audible pour s'assurer que la différence vient bien des appareil, et non de notre imagination. Ne riez pas, c'est beaucoup plus courant qu'on ne le pense.
Il consiste à présenter à l'auditeur trois sources nommées A, B et X. A et B sont les deux appareils à comparer. Ils servent de référence pour identifier X, qui est tiré au sort. C'est soit l'appareil A, soit l'appareil B, mais il sont cachés à la vue de l'auditeur. L'auditeur doit dire, en écoutant à volonté A, B, et X, sans limite de temps, et dans toutes les conditions qu'il souhaite, si X est l'appareil A, ou si c'est l'appareil B.
Une série de tirages au sort est effectuée en respectant certaines règles statistiques pour déterminer leur nombre afin de s'assurer que l'auditeur identifie toujours bien la bonne source sonore.
Définitions
Test en aveugle : test dans lequel la seule source d'information pour le sujet à propos des essais sont les stimuli. (définition donnée par l'ITU dans ITU-R BS.1116-1).
En audio, nous généralisons cette définition à l'ensemble des tests dans lesquels les appareils sont masqués à l'auditeur de sorte qu'il ne sait pas ce qu'il écoute. Même s'il connaît la liste des appareils testés.
Test en double aveugle : test en aveugle dans lequel il n'y a pas d'interaction non contrôlée possible entre l'expérimentateur et le test (source : idem)
Notez que cette définition n'implique pas que l'expérimentateur ignore lui-même le résultat du tirage au sort. Il suffit de s'assurer qu'il ne puisse le suggérer à l'auditeur par aucun indice tel qu'un mouvement de bras pour appuyer sur un bouton, le déclic particulier d'un bouton, une hésitation le temps de mettre en route un appareil compliqué, un soupir lorsqu'il faut brancher telle prise trop serrée, etc.
Sujet : auditeur, personne qui passe le test.
Comment marche un test ABX ?
Voici par exemple comment se présente un programme permettant de faire des tests ABX sur un ordinateur, entre deux fichiers audio A et B.
![Image](http://perso.numericable.fr/laguill2/pictures/homecinema-fr/Cohuelaz/pcabx.gif)
Il s'agit du programme PCABX, d'Arnold Krueger. Page web : http://www.pcabx.com/
Les trois boutons A, B, et X au milieu permettent à l'auditeur de lancer la lecture du fichier A, du fichier B, ou du fichier X. L'auditeur peut les écouter autant de fois qu'il le désire. Leur durée n'est pas limitée. Ils peuvent durer 5 secondes, 30 secondes, deux heures...
En dessous, les boutons "X is A" et "X is B" (X est A, X est B) permettent à l'auditeur de choisir sa réponse.
Les boutons "Next trial" et "Previous trial" permettent de passer au tirage au sort suivant, ou de revenir à un tirage précédent. Ainsi, si l'auditeur, au 5ème essai, s'aperçoit d'une différence qu'il n'avait pas remarquée et qui lui permet d'identifier X, il peut revenir en arrière et changer ses réponses précédentes en réécoutant l'ancien tirage au sort de X.
Enfin, une fois que l'auditeur pense avoir donné suffisament de bonnes réponses, il clique sur le bouton "Test over, check answers" (Test terminé, voir les réponses). Le programme affiche alors le score final, une évaluation de sa pertinence en terme de probabilités, et affiche dans l'une des deux cases du bas un X en face de la bonne réponse pour chaque essai. A gauche si X était A, à droite si X était B.
Ce système est transposable en hifi avec l'aide d'un tiers. Voici à l'oeuvre les membres de l'association audiophile Matrix-Hifi, en train de faire passer un test en aveugle à un groupe d'auditeur. Ils appellent cela le HABX, ou Human ABX (voir http://www.matrixhifi.com/contenedor_ppec_eng.htm ) :
![Image](http://perso.numericable.fr/laguill2/pictures/homecinema-fr/Cohuelaz/habx.jpg)
Ainsi, les auditeurs n'ont qu'à demander à écouter A, B, ou X, et les expérimentateurs branchent discrètement la source correspondante, derrière le rideau.
Dernière édition par cohuelaz le 14 Jan 2007 20:39, édité 4 fois.
- cohuelaz
- Messages: 5697
- Inscription Forum: 16 Sep 2006 11:56
Lecture des résultats : la valeur de p
Dans un test ABX, on procède en aveugle afin de ne pas être influencé par nos a priori. Mais ce n'est pas tout. On répète le tirage au sort de X pour être certain que l'auditeur l'identifie à tous les coups. Combien de fois ? Là est la question.
Du nombre de fois que l'on répète le test dépend sa fiabilité. Plus on effectue de répétitions, plus le résultat est fiable.
La fiabilité est exprimée par un pourcentage noté p (comme Probabilité). Ce nombre est fondamental et est donné pour tout test en aveugle.
p est la proportion moyenne de tests réussis lorsque le sujet du test répond au hasard.
Imaginons un test ABX truqué, avec A et B correspondant en fait à la même chose. X est à la fois égal à A et à B à chaque fois. Donc les réponses des auditeurs sont complètement aléatoires. Réalisons des tests ABX en 5 essais. Si les auditeurs répondent au hasard, à chaque fois il y a une chance sur deux pour que leur réponse corresponde au tirage au sort. Au bout de 5 essais, il y a une probabilité de 1/2 x 1/2 x 1/2 x 1/2 x 1/2 = 1/32 = 3,125 % pour que toutes les réponses soient bonnes.
Autrement dit, en ne faisant que des tests bidons en 5 fois, on aura tout de même des résultats positifs. Une fois sur 32 en moyenne. On dit que le p d'un test ABX de score égal à 5/5 est de 3,125 %.
Autre formulation de la définition de p : c'est la proportion de faux succès à laquelle il faut s'attendre.
Plus le score à l'ABX est élevé, plus p diminue, meilleur est le test.
Pour une proportion constante de bonnes réponses supérieure à une sur deux, plus le nombre d'essais est grand, plus p diminue, meilleur est le test.
Combien d'essais choisir ?
Il faut choisir un nombre d'essais permettant d'obtenir un p assez petit.
Dans l'industrie pharmaceutique, par exemple, le p maximal pour qu'un test soit considéré comme réussi est fixé par convention à 5%. Ce qui implique que parmi les molécules inefficaces testées, une sur vingt pourra obtenir une autorisation de mise sur le marché sur la base de tests en double aveugle contre placebo qui démontre son efficacité.
A partir de quelle valeur de p est-on sûrs d'avoir un succès ?
Si on teste en ABX l'existence de Superman, et que l'on obtient un succès, c'est-à-dire un p inférieur à 5 %, par exemple, doit on conclure à l'existence de Superman ? S'agit-il d'une preuve scientifique, irréfutable, de son existence ? Non. Il s'agit de l'un des 5 % de faux succès qui se produisent dans les tests à p <= 5 %.
Par contre, si on teste la différence audible entre un CD et un vinyle, le même résultat, test ABX positif, sera interprété comme une preuve que l'on a bien entendu la différence. Pourquoi ?
Comment deux tests donnant un résultat strictement identique peuvent-ils être scientifiquement interprétés de façon opposée ?
C'est parce que lorsque nous avons le choix entre deux hypothèses, nous priviliégions toujours la plus plausible. Le résultat d'un test en aveugle, ce n'est pas seulement la valeur de p, c'est la comparaison de la valeur de p avec l'hypothèse testée
En comparant un CD et un vinyle, à quoi s'attend-on ? Tout dépend du matériel mis en oeuvre et des auditeurs. On peut avoir un succès comme un échec. On part avec une probabilité de succès a priori égale à 50 %. Le resultat de l'ABX nous dit qu'un faux succès est envisageable à 5 %. Quelle est l'hypothèse la plus probable ? C'est que l'auditeur a entendu la différence.
En testant l'existence de Superman, à quoi s'attend-on ? A un échec, car nous savons qu'il n'existe pas. On part avec une probabilité de succès a priori inférieure à un sur un million. Le resultat de l'ABX nous dit qu'un faux succès est envisageable à 5 %. Quelle est l'hypothèse la plus probable ? C'est que l'on a obtenu un faux succès.
Nous devons donc choisir le p à ne pas dépasser en fonction de la différence que nous voulons tester.
Lorsque nous ne savons pas à quoi nous attendre, nous pouvons nous baser sur des valeurs de p inférieurs ou égales à 5% pour un succès moyen, et inférieures ou égales à 1% pour un bon succès.
Lorsque nous avons certaines connaissances au sujet des appareils comparés, nous pouvons être amenés à choisir des valeurs plus petites. Si on part du principe qu'un câble de construction symétrique marche de la même façon dans les deux sens, il va falloir un p inférieur à 0.01 % pour nous convaincre du contraire.
A chaque fois, tout dépend des hypothèses en balance. On va se demander s'il est plus probable qu'un câble ait un sens, ou qu'on soit tombé sur le seul ABX sur dix mille qui donne un faux succès.
Relation entre le score ABX et p
Soit N le nombre d'essais et S le nombre de bonnes réponses dans un faux test ABX, où toutes les réponses sont tirées au sort, avec à chaque fois une chance sur deux de tomber juste.
p est le pourcentage de tests ABX aléatoires en N essais dont le score est supérieur ou égal à S.
Il est donné par la formule
p = somme pour i allant de S à N de C(N, i) / 2^N
Avec C (N, i) = [combinaisons de i éléments parmi N] = N! / (i! * (n-i)!)
Exemples :
ABX 8/8 : p = 1 / 256 = 0,39 %
ABX 7/8 : p = 9 / 256 = 3,5 % (une chance d'obtenir tout bon, plus 8 chances de n'avoir qu'une seule erreur, sur 256).
ABX 6/8 : p = 37 / 256 = 14 % (une chance d'obtenir tout bon, plus 8 chances de n'avoir qu'une erreur, plus 28 chances d'avoir deux erreurs, sur 256)
ABX 16/16 : p = 1 / 65536 = 0,0015 %
ABX 15/16 : p = 17 / 65536 = 0,026 %
ABX 14/16 : p = 137 / 65536 = 0,21 %
ABX 13/16 : p = 697 / 65536 = 1,1 %
ABX 12/16 : p = 2517 / 65536 = 3,8 %
ABX 11/16 : p = 6885 / 65536 = 10,5 %
On voit qu'en augmentant le nombre total d'essais, on a davantage droit à l'erreur.
Table de valeurs Excel pour tests ABX : http://www.kikeg.arrakis.es/winabx/bino_dist.zip
Autres facteurs affectant la valeur de p
Il est facile de biaiser en notre faveur le résultat d'un test ABX. Les deux principales méthodes sont de surveiller l'évolution de p au fur et à mesure de nos réponses et d'attendre que p descende au hasard des fluctuations statistiques pour stopper le test. L'autre est de recommencer le test jusqu'à ce qu'il réussisse par chance.
Il est par conséquent nécessaire de respecter les deux règles suivantes :
L'auditeur doit soit fixer le nombre total d'essais avant le test (solution recommandée), soit ne pas avoir connaissance de son score durant le test (moins intéressant, car ne permet par à l'auditeur de se réajuster en cas d'erreur).
L'auditeur doit s'entraîner en pratiquant des comparaisons ABX d'essai et n'enregistrer son score que lorsqu'il est tout à fait prêt à passer le test. Une fois le score enregistré, un échec est difficilement rattrapable.
La valeur globale de p est quasi incalculable lorsque l'on souhaite rattraper un échec par un succès. Il faut alors obtenir un très très gros succès.
Pour l'anecdote, des exemples de faux succès obtenus en répondant au hasard :
ABX 12/13.
ABX en série stoppés exprès quand p est petit. Plusieurs passages à p < 1 %
Dans un test ABX, on procède en aveugle afin de ne pas être influencé par nos a priori. Mais ce n'est pas tout. On répète le tirage au sort de X pour être certain que l'auditeur l'identifie à tous les coups. Combien de fois ? Là est la question.
Du nombre de fois que l'on répète le test dépend sa fiabilité. Plus on effectue de répétitions, plus le résultat est fiable.
La fiabilité est exprimée par un pourcentage noté p (comme Probabilité). Ce nombre est fondamental et est donné pour tout test en aveugle.
p est la proportion moyenne de tests réussis lorsque le sujet du test répond au hasard.
Imaginons un test ABX truqué, avec A et B correspondant en fait à la même chose. X est à la fois égal à A et à B à chaque fois. Donc les réponses des auditeurs sont complètement aléatoires. Réalisons des tests ABX en 5 essais. Si les auditeurs répondent au hasard, à chaque fois il y a une chance sur deux pour que leur réponse corresponde au tirage au sort. Au bout de 5 essais, il y a une probabilité de 1/2 x 1/2 x 1/2 x 1/2 x 1/2 = 1/32 = 3,125 % pour que toutes les réponses soient bonnes.
Autrement dit, en ne faisant que des tests bidons en 5 fois, on aura tout de même des résultats positifs. Une fois sur 32 en moyenne. On dit que le p d'un test ABX de score égal à 5/5 est de 3,125 %.
Autre formulation de la définition de p : c'est la proportion de faux succès à laquelle il faut s'attendre.
Plus le score à l'ABX est élevé, plus p diminue, meilleur est le test.
Pour une proportion constante de bonnes réponses supérieure à une sur deux, plus le nombre d'essais est grand, plus p diminue, meilleur est le test.
Combien d'essais choisir ?
Il faut choisir un nombre d'essais permettant d'obtenir un p assez petit.
Dans l'industrie pharmaceutique, par exemple, le p maximal pour qu'un test soit considéré comme réussi est fixé par convention à 5%. Ce qui implique que parmi les molécules inefficaces testées, une sur vingt pourra obtenir une autorisation de mise sur le marché sur la base de tests en double aveugle contre placebo qui démontre son efficacité.
A partir de quelle valeur de p est-on sûrs d'avoir un succès ?
Si on teste en ABX l'existence de Superman, et que l'on obtient un succès, c'est-à-dire un p inférieur à 5 %, par exemple, doit on conclure à l'existence de Superman ? S'agit-il d'une preuve scientifique, irréfutable, de son existence ? Non. Il s'agit de l'un des 5 % de faux succès qui se produisent dans les tests à p <= 5 %.
Par contre, si on teste la différence audible entre un CD et un vinyle, le même résultat, test ABX positif, sera interprété comme une preuve que l'on a bien entendu la différence. Pourquoi ?
Comment deux tests donnant un résultat strictement identique peuvent-ils être scientifiquement interprétés de façon opposée ?
C'est parce que lorsque nous avons le choix entre deux hypothèses, nous priviliégions toujours la plus plausible. Le résultat d'un test en aveugle, ce n'est pas seulement la valeur de p, c'est la comparaison de la valeur de p avec l'hypothèse testée
En comparant un CD et un vinyle, à quoi s'attend-on ? Tout dépend du matériel mis en oeuvre et des auditeurs. On peut avoir un succès comme un échec. On part avec une probabilité de succès a priori égale à 50 %. Le resultat de l'ABX nous dit qu'un faux succès est envisageable à 5 %. Quelle est l'hypothèse la plus probable ? C'est que l'auditeur a entendu la différence.
En testant l'existence de Superman, à quoi s'attend-on ? A un échec, car nous savons qu'il n'existe pas. On part avec une probabilité de succès a priori inférieure à un sur un million. Le resultat de l'ABX nous dit qu'un faux succès est envisageable à 5 %. Quelle est l'hypothèse la plus probable ? C'est que l'on a obtenu un faux succès.
Nous devons donc choisir le p à ne pas dépasser en fonction de la différence que nous voulons tester.
Lorsque nous ne savons pas à quoi nous attendre, nous pouvons nous baser sur des valeurs de p inférieurs ou égales à 5% pour un succès moyen, et inférieures ou égales à 1% pour un bon succès.
Lorsque nous avons certaines connaissances au sujet des appareils comparés, nous pouvons être amenés à choisir des valeurs plus petites. Si on part du principe qu'un câble de construction symétrique marche de la même façon dans les deux sens, il va falloir un p inférieur à 0.01 % pour nous convaincre du contraire.
A chaque fois, tout dépend des hypothèses en balance. On va se demander s'il est plus probable qu'un câble ait un sens, ou qu'on soit tombé sur le seul ABX sur dix mille qui donne un faux succès.
Relation entre le score ABX et p
Soit N le nombre d'essais et S le nombre de bonnes réponses dans un faux test ABX, où toutes les réponses sont tirées au sort, avec à chaque fois une chance sur deux de tomber juste.
p est le pourcentage de tests ABX aléatoires en N essais dont le score est supérieur ou égal à S.
Il est donné par la formule
p = somme pour i allant de S à N de C(N, i) / 2^N
Avec C (N, i) = [combinaisons de i éléments parmi N] = N! / (i! * (n-i)!)
Exemples :
ABX 8/8 : p = 1 / 256 = 0,39 %
ABX 7/8 : p = 9 / 256 = 3,5 % (une chance d'obtenir tout bon, plus 8 chances de n'avoir qu'une seule erreur, sur 256).
ABX 6/8 : p = 37 / 256 = 14 % (une chance d'obtenir tout bon, plus 8 chances de n'avoir qu'une erreur, plus 28 chances d'avoir deux erreurs, sur 256)
ABX 16/16 : p = 1 / 65536 = 0,0015 %
ABX 15/16 : p = 17 / 65536 = 0,026 %
ABX 14/16 : p = 137 / 65536 = 0,21 %
ABX 13/16 : p = 697 / 65536 = 1,1 %
ABX 12/16 : p = 2517 / 65536 = 3,8 %
ABX 11/16 : p = 6885 / 65536 = 10,5 %
On voit qu'en augmentant le nombre total d'essais, on a davantage droit à l'erreur.
Table de valeurs Excel pour tests ABX : http://www.kikeg.arrakis.es/winabx/bino_dist.zip
Autres facteurs affectant la valeur de p
Il est facile de biaiser en notre faveur le résultat d'un test ABX. Les deux principales méthodes sont de surveiller l'évolution de p au fur et à mesure de nos réponses et d'attendre que p descende au hasard des fluctuations statistiques pour stopper le test. L'autre est de recommencer le test jusqu'à ce qu'il réussisse par chance.
Il est par conséquent nécessaire de respecter les deux règles suivantes :
L'auditeur doit soit fixer le nombre total d'essais avant le test (solution recommandée), soit ne pas avoir connaissance de son score durant le test (moins intéressant, car ne permet par à l'auditeur de se réajuster en cas d'erreur).
L'auditeur doit s'entraîner en pratiquant des comparaisons ABX d'essai et n'enregistrer son score que lorsqu'il est tout à fait prêt à passer le test. Une fois le score enregistré, un échec est difficilement rattrapable.
La valeur globale de p est quasi incalculable lorsque l'on souhaite rattraper un échec par un succès. Il faut alors obtenir un très très gros succès.
Pour l'anecdote, des exemples de faux succès obtenus en répondant au hasard :
ABX 12/13.
ABX en série stoppés exprès quand p est petit. Plusieurs passages à p < 1 %
Dernière édition par cohuelaz le 21 Jan 2007 13:02, édité 3 fois.
- cohuelaz
- Messages: 5697
- Inscription Forum: 16 Sep 2006 11:56
L'organisation pratique des tests en double aveugle
- cohuelaz
- Messages: 5697
- Inscription Forum: 16 Sep 2006 11:56
Ce pensum m’est dicté par un débat qui semble faire rage entre subjectiviste et objectiviste, faux débat s’il en est, et qui divise des pensées qui sont pourtant très proches.
C'est pas tout à fait ça
![:wink:](https://www.homecinema-fr.com/forum/images/smilies/icon_wink.gif)
Objectiviste et subjectiviste peuvent s'entendre et s'entendent généralement fort bien, car dans la pratique, dans la vie réelle, les premiers écoutent de la musique et les seconds regardent un peu quand même comment fonctionnent les boites à faire de la musique qu'ils achètent.
Là ou tout déconne, c'est quand les objectivistes forcenés et les subjectivistes forcenés entrent dans la danse. Ils sont pénibles sur un forum.
Les deux sont des obscurantistes et des adeptes du mysticisme. Les premiers ne croient qu'en leurs oreilles, les seconds érigent un temple à la gloire du test ABX qu'ils détournent de son utilité réelle sur un forum comme le notre. Ils font du test ABX le petit koala en peluche tombé du ciel qui, dans The Wild, est adoré par les gnous qui veulent arriver au sommet de la chaine alimentaire
![:lol:](https://www.homecinema-fr.com/forum/images/smilies/icon_lol.gif)
![:lol:](https://www.homecinema-fr.com/forum/images/smilies/icon_lol.gif)
J'ai une fois défini ainsi, face à un choix de cables numériques, la position des uns et des autres : ça avait fait hurler de rire GBO qui est un objectiviste doublé d'un gars très compétent dans le domaine numérique et qui avait adoubé ces définitions que j'enrichi ci-dessous un peu.
1) Le subjectiviste forcené :
Prends le cable X, je l'ai écouté, c'est le meilleur de tous.
2) Le subjectiviste :
Empruntes plusieurs cables numériques et écoute. Choisi celui qui t'es apparu comme étant le meilleur.
3) L'objectiviste forcené :
Fais un test en ABX et tu verras que tous les cables sont identiques. D'ailleurs, à l'université de trucshmoll ce test a été fait avec 1282 étudiants en son. Ils ont été incapables de discerner le moindre cable d'un autre. Et d'abord, je ne sais pas pourquoi tu as un drive X, tous les drives sonnent de la même façon. Fais un test ABX.... suivent douze liens internets vers des tests en ABX et des propos, de préférences anglo-saxons, prouvant que tout est dans tout et que tous les cables sont impossibles à départager.
4) L'objectiviste :
Tu as une sortie numérique optique ? SPDIF (sur prises RCA ou BNC à vérouillage) ou AESBU (XLR) ?
La prise optique Toslink a un bouchon noir en plastique.
La RCA est identique aux autres prises analogiques de ta chaine.
La BNC est entièrement métallique et elle sur le coté deux picots. La prise XLR est plus grosse et elle a trois trous.
Et généralement au dessus ou en dessous des prises leur nom est indiqué.
Si tu as une sortie optique, l'avantage c'est que tu isoles galvaniquement les deux appareils que tu relies et que tu évites ainsi tout bouclage de masse entre les deux, mais tu passes par deux conversions signal/lumière puis lumière/signal.
Tu as une sortie SPDIF en BNC : pas de problème, tu prends un cable 75 ohms équipé de cette prise. C'est rare sur un appareil numérique grand public alors qu'autrefois elle était de règle sur les magnétoscopes. Ce qui est dommage car c'est une liaison solide et fiable.
Tu as une sortie sur RCA : prends un cable muni de deux prises Canare afin de respecter cette impédance de 75 ohms, car c'est la norme des liaisons dans ce standard. Beaucoup de cables numériques du commerce ne respectent pas cette impédance car leurs prises sont soudées alors qu'elles devraient être serties.
Tu as une sortie sur XLR : achète un cable numérique équipé de ces prises dont l'impédance est de 110 ohms, car c'est la norme des liaisons pour ce standard.
Tu es vraisemblablement en SPDIF sur RCA. Essaies, si tu le peux, d'emprunter deux ou trois cables à ton vendeur pour écouter chez toi. Mais tu as de grandes chances pour ne pas entendre de différences significatives entre les cables.
Sache qu'un très bon cable numérique acheté à la découpe vaut environ 2 à 3 euros le mêtre et que les prises Canare valent une quinzaine d'Euros. Mais qu'elles nécessitent une prise spéciale pour sertir le cable. Tu peux aussi aller du coté DIY du forum ou tu trouveras sans doute des forumeurs susceptibles de t'orienter. C'est bourré d'objectivistes
![:lol:](https://www.homecinema-fr.com/forum/images/smilies/icon_lol.gif)
Alain
![:wink:](https://www.homecinema-fr.com/forum/images/smilies/icon_wink.gif)
Dernière édition par haskil le 14 Jan 2007 10:46, édité 1 fois.
- haskil
- Messages: 60467
- Inscription Forum: 06 Déc 2001 2:00
- Localisation: Haute Normandie et Brésil
Pour le reste, tout à fait d'accord. Excellente idée.
Les test ABX doivent avoir une autre finalité qu'eux mêmes sur un forum consacré au son.
Ceux que tu proposes (icepower, différentes classes D, etc.) sont pile poil dans les missions de ce forum et de l'association qui le finance.
Alain![:wink:](https://www.homecinema-fr.com/forum/images/smilies/icon_wink.gif)
Les test ABX doivent avoir une autre finalité qu'eux mêmes sur un forum consacré au son.
Ceux que tu proposes (icepower, différentes classes D, etc.) sont pile poil dans les missions de ce forum et de l'association qui le finance.
Alain
![:wink:](https://www.homecinema-fr.com/forum/images/smilies/icon_wink.gif)
- haskil
- Messages: 60467
- Inscription Forum: 06 Déc 2001 2:00
- Localisation: Haute Normandie et Brésil
haskil a écrit:Pour le reste, tout à fait d'accord. Excellente idée.
Les test ABX doivent avoir une autre finalité qu'eux mêmes sur un forum consacré au son.
Ceux que tu proposes (icepower, différentes classes D, etc.) sont pile poil dans les missions de ce forum et de l'association qui le finance.
Alain
C'est exactement cela Alain et très bien dit, une autre finalité qu'eux même !
Autrement, aussi, pour démythifier ce genre de test et savoir si les protocoles médicaux pour la mise sur le marché de médicaments ne sont pas à adapter dans notre cas
![:lol:](https://www.homecinema-fr.com/forum/images/smilies/icon_lol.gif)
Cdt
![:wink:](https://www.homecinema-fr.com/forum/images/smilies/icon_wink.gif)
- cohuelaz
- Messages: 5697
- Inscription Forum: 16 Sep 2006 11:56
Edité la définition des tests en double aveugle
A lire vos réactions,
Cdt
A lire vos réactions,
Cdt
- cohuelaz
- Messages: 5697
- Inscription Forum: 16 Sep 2006 11:56
haskil a écrit: et que les prises Canare valent une quinzaine d'Euros.
En les faisant venir des US en grande quantité pour rentabiliser le port, on arrive à ~5 euros/prise.
En France, en boutique, à l'unité, c'est effectivement environ 7.5 euros soit 15 euros pour les 2 prises pour faire un cable numérique.
La configuration dans mon profil
Adhérez à l'assoc pour que le site soit indépendant : http://www.homecinema-fr.com/l-association-hcfr/
(Ce compte ne répondra pas à vos messages privés)
- ogobert
- Fondateur et Membre d'Honneur
- Messages: 47989
- Inscription Forum: 04 Juil 2000 2:00
- Localisation: France (78)
Salut Cohuelaz, et merci d'avoir initié cet excellent sujet.
Le texte que tu as posté est intéressant, mais me paraît bien long pour une présentation synthétique.
J'y note une petite exagération :
J'avais écrit cela sans lire ledit document. A présent que je l'ai lu, je doute qu'il s'agisse d'une référence absolue. Il présente simplement toute une série de recommandations pour bien mener des tests d'écoute. Ces recommandations vont d'ailleurs bien au-delà de tout ce qu'on pourra jamais faire : restrictions sur la courbe de réponse des enceintes, restrictions sur le spectre des réverberations de la pièce d'écoute en fonction de la fréquence, et j'en passe.
De mon côté, j'ai commencé une présentation simple (enfin, je l'espère).
Qu'est-ce qu'un test en aveugle ?
Un test en aveugle est une écoute comparative dans laquelle l'identification des appareils testés ne peut être faite qu'en écoutant leur son.
S'ils ont le même son, impossible de les reconnaître. S'ils n'ont pas le même son, il est possible de les reconnaître.
Un test ABX consiste à comparer deux appareils entre lesquels une différence est audible pour s'assurer que la différence vient bien des appareil, et non de notre imagination. Ne riez pas, c'est beaucoup plus courant qu'on ne le pense.
Il consiste à présenter à l'auditeur trois sources nommées A, B et X. A et B sont les deux appareils à comparer. Ils servent de référence pour identifier X, qui est tiré au sort. C'est soit l'appareil A, soit l'appareil B, mais il sont cachés à la vue de l'auditeur. L'auditeur doit dire, en écoutant à volonté A, B, et X, sans limite de temps, et dans toutes les conditions qu'il souhaite, si X est l'appareil A, ou si c'est l'appareil B.
Une série de tirages au sort est effectuée en respectant certaines règles statistiques pour déterminer leur nombre afin de s'assurer que l'auditeur identifie toujours bien la bonne source sonore.
Définitions
Test en aveugle : test dans lequel la seule source d'information pour le sujet à propos des essais sont les stimuli. (définition donnée par l'ITU dans ITU-R BS.1116-1).
En audio, nous généralisons cette définition à l'ensemble des tests dans lesquels les appareils sont masqués à l'auditeur de sorte qu'il ne sait pas ce qu'il écoute. Même s'il connaît la liste des appareils testés.
Test en double aveugle : test en aveugle dans lequel il n'y a pas d'interaction non contrôlée possible entre l'expérimentateur et le test (source : idem)
Notez que cette définition n'implique pas que l'expérimentateur ignore lui-même le résultat du tirage au sort. Il suffit de s'assurer qu'il ne puisse le suggérer à l'auditeur par aucun indice tel qu'un mouvement de bras pour appuyer sur un bouton, le déclic particulier d'un bouton, une hésitation le temps de mettre en route un appareil compliqué, un soupir lorsqu'il faut brancher telle prise trop serrée, etc.
Sujet : auditeur, personne qui passe le test.
Comment marche un test ABX ?
Voici par exemple comment se présente un programme permettant de faire des tests ABX sur un ordinateur, entre deux fichiers audio A et B.
Il s'agit du programme PCABX, d'Arnold Krueger. Page web : http://www.pcabx.com/
Les trois boutons A, B, et X au milieu permettent à l'auditeur de lancer la lecture du fichier A, du fichier B, ou du fichier X. L'auditeur peut les écouter autant de fois qu'il le désire. Leur durée n'est pas limitée. Ils peuvent durer 5 secondes, 30 secondes, deux heures...
En dessous, les boutons "X is A" et "X is B" (X est A, X est B) permettent à l'auditeur de choisir sa réponse.
Les boutons "Next trial" et "Previous trial" permettent de passer au tirage au sort précédent, ou de revenir à un tirage précédent. Ainsi, si l'auditeur, au 5ème essai, s'aperçoit d'une différence qu'il n'avait pas remarquée et qui lui permet d'identifier X, il peut revenir en arrière et changer ses réponses précédentes en réécoutant l'ancien tirage au sort de X.
Enfin, une fois que l'auditeur pense avoir donné suffisament de bonnes réponses, il clique sur le bouton "Test over, check answers" (Test terminé, voir les réponses). Le programme affiche alors le score finale, une évaluation de sa pertinence en terme de probabilités, et affiche dans l'une des deux cases du bas un X en face de la bonne réponse pour chaque essai. A gauche si X était A, à droite si X était B.
Ce système est transposable en hifi avec l'aide d'un tiers. Voici à l'oeuvre les membres de l'association audiophile Matrix-Hifi, en train de faire passer un test en aveugle à un groupe d'auditeur. Ils appellent cela le HABX, ou Human ABX (voir http://www.matrixhifi.com/contenedor_ppec_eng.htm ) :
Ainsi, les auditeurs n'ont qu'à demander à écouter A, B, ou X, et les expérimentateurs branchent discrètement la source correspondante, derrière le rideau.
Le texte que tu as posté est intéressant, mais me paraît bien long pour une présentation synthétique.
J'y note une petite exagération :
cohuelaz a écrit:Le test en double aveugle, que je nommerais TDA, pour plus de facilité, est un protocole scientifique « qui suit la recommandation ITU-R BS1116-1 qui est la référence actuelle en matière de tests en aveugle pour la recherche scientifique »
J'avais écrit cela sans lire ledit document. A présent que je l'ai lu, je doute qu'il s'agisse d'une référence absolue. Il présente simplement toute une série de recommandations pour bien mener des tests d'écoute. Ces recommandations vont d'ailleurs bien au-delà de tout ce qu'on pourra jamais faire : restrictions sur la courbe de réponse des enceintes, restrictions sur le spectre des réverberations de la pièce d'écoute en fonction de la fréquence, et j'en passe.
De mon côté, j'ai commencé une présentation simple (enfin, je l'espère).
Qu'est-ce qu'un test en aveugle ?
Un test en aveugle est une écoute comparative dans laquelle l'identification des appareils testés ne peut être faite qu'en écoutant leur son.
S'ils ont le même son, impossible de les reconnaître. S'ils n'ont pas le même son, il est possible de les reconnaître.
Un test ABX consiste à comparer deux appareils entre lesquels une différence est audible pour s'assurer que la différence vient bien des appareil, et non de notre imagination. Ne riez pas, c'est beaucoup plus courant qu'on ne le pense.
Il consiste à présenter à l'auditeur trois sources nommées A, B et X. A et B sont les deux appareils à comparer. Ils servent de référence pour identifier X, qui est tiré au sort. C'est soit l'appareil A, soit l'appareil B, mais il sont cachés à la vue de l'auditeur. L'auditeur doit dire, en écoutant à volonté A, B, et X, sans limite de temps, et dans toutes les conditions qu'il souhaite, si X est l'appareil A, ou si c'est l'appareil B.
Une série de tirages au sort est effectuée en respectant certaines règles statistiques pour déterminer leur nombre afin de s'assurer que l'auditeur identifie toujours bien la bonne source sonore.
Définitions
Test en aveugle : test dans lequel la seule source d'information pour le sujet à propos des essais sont les stimuli. (définition donnée par l'ITU dans ITU-R BS.1116-1).
En audio, nous généralisons cette définition à l'ensemble des tests dans lesquels les appareils sont masqués à l'auditeur de sorte qu'il ne sait pas ce qu'il écoute. Même s'il connaît la liste des appareils testés.
Test en double aveugle : test en aveugle dans lequel il n'y a pas d'interaction non contrôlée possible entre l'expérimentateur et le test (source : idem)
Notez que cette définition n'implique pas que l'expérimentateur ignore lui-même le résultat du tirage au sort. Il suffit de s'assurer qu'il ne puisse le suggérer à l'auditeur par aucun indice tel qu'un mouvement de bras pour appuyer sur un bouton, le déclic particulier d'un bouton, une hésitation le temps de mettre en route un appareil compliqué, un soupir lorsqu'il faut brancher telle prise trop serrée, etc.
Sujet : auditeur, personne qui passe le test.
Comment marche un test ABX ?
Voici par exemple comment se présente un programme permettant de faire des tests ABX sur un ordinateur, entre deux fichiers audio A et B.
![Image](http://perso.numericable.fr/laguill2/pictures/homecinema-fr/Cohuelaz/pcabx.gif)
Il s'agit du programme PCABX, d'Arnold Krueger. Page web : http://www.pcabx.com/
Les trois boutons A, B, et X au milieu permettent à l'auditeur de lancer la lecture du fichier A, du fichier B, ou du fichier X. L'auditeur peut les écouter autant de fois qu'il le désire. Leur durée n'est pas limitée. Ils peuvent durer 5 secondes, 30 secondes, deux heures...
En dessous, les boutons "X is A" et "X is B" (X est A, X est B) permettent à l'auditeur de choisir sa réponse.
Les boutons "Next trial" et "Previous trial" permettent de passer au tirage au sort précédent, ou de revenir à un tirage précédent. Ainsi, si l'auditeur, au 5ème essai, s'aperçoit d'une différence qu'il n'avait pas remarquée et qui lui permet d'identifier X, il peut revenir en arrière et changer ses réponses précédentes en réécoutant l'ancien tirage au sort de X.
Enfin, une fois que l'auditeur pense avoir donné suffisament de bonnes réponses, il clique sur le bouton "Test over, check answers" (Test terminé, voir les réponses). Le programme affiche alors le score finale, une évaluation de sa pertinence en terme de probabilités, et affiche dans l'une des deux cases du bas un X en face de la bonne réponse pour chaque essai. A gauche si X était A, à droite si X était B.
Ce système est transposable en hifi avec l'aide d'un tiers. Voici à l'oeuvre les membres de l'association audiophile Matrix-Hifi, en train de faire passer un test en aveugle à un groupe d'auditeur. Ils appellent cela le HABX, ou Human ABX (voir http://www.matrixhifi.com/contenedor_ppec_eng.htm ) :
![Image](http://perso.numericable.fr/laguill2/pictures/homecinema-fr/Cohuelaz/habx.jpg)
Ainsi, les auditeurs n'ont qu'à demander à écouter A, B, ou X, et les expérimentateurs branchent discrètement la source correspondante, derrière le rideau.
- Pio2001
- Contributeur HCFR 2019
- Messages: 9068
- Inscription Forum: 07 Oct 2003 12:50
- Localisation: Neuville-sur-Saône
Cela me parait très bien Pio 2001 mais je n'arrive pas à éditer ton texte avec les photos dans les premiers messages. J'aimerais que ta définition soit plus visible et je suis prêt à effacer les 2 premiers messages pour cela mais comment faire ?
Cdt
![:wink:](https://www.homecinema-fr.com/forum/images/smilies/icon_wink.gif)
Cdt
![:wink:](https://www.homecinema-fr.com/forum/images/smilies/icon_wink.gif)
- cohuelaz
- Messages: 5697
- Inscription Forum: 16 Sep 2006 11:56
Voila, c'est édité, nouvelle et plus courte définition par pio 2001
Ensuite il faudrait envisager un cas pratique, nommer par exemple des amplis en classe D embarquant des modules ice power pour voir comment cela peut s'organiser et lancer et envisager la lecture des résultast.
Enfin trouver des objets réalistes pour effectuer un test en aveugle ainsi que des bonnes volontés...
Cdt
Ensuite il faudrait envisager un cas pratique, nommer par exemple des amplis en classe D embarquant des modules ice power pour voir comment cela peut s'organiser et lancer et envisager la lecture des résultast.
Enfin trouver des objets réalistes pour effectuer un test en aveugle ainsi que des bonnes volontés...
Cdt
- cohuelaz
- Messages: 5697
- Inscription Forum: 16 Sep 2006 11:56
Cela viendra... la partie méthodologie peut être très complexe... La partie lecture des résultats devrait être assez simple. La partie organisation pratique peut être également complexe.
J'essayerai de faire synthétique et général.
J'essayerai de faire synthétique et général.
- Pio2001
- Contributeur HCFR 2019
- Messages: 9068
- Inscription Forum: 07 Oct 2003 12:50
- Localisation: Neuville-sur-Saône
Combien de temps dure un test ABX ?
Une heure, un après-midi, une journée, une semaine, un mois,......?
Une heure, un après-midi, une journée, une semaine, un mois,......?
- clonedvinyl
- Messages: 1822
- Inscription Forum: 09 Sep 2005 14:46
- Localisation: 78
|
Retourner vers Discussions Générales
|