Test en aveugle

[corsario]

Je croyais que Bernard Auriol était considéré comme un charlatan (ou du moins pas très sérieux, accréditant certaines démonstration paranormales) par la médecine traditionnelle ?

ça c'est bien possible, je ne connais pas le bonhomme, mais ça ne change rien aux gens qui souffrent d'amusie et de dysmusie, troubes qui sont bien documentés, cf cet autre lien :

Les troubles observés en musique
Concernant les troubles consécutifs à des atteintes cérébrales, nous avons relevé :
♦ L’amusie, trouble des fonctions musicales suite à des lésions cérébrales acquises.
♦ Le trouble de la perception musicale (LECHEVALIER, 1985), qui peut atteindre
trois niveaux de désintégration différents.
♦ La dysmusie développementale (GRES et GUILLOUET, 1996) résultant d’une
anomalie dans la mise en place de certaines structures de l’hémisphère droit.
♦ L’alexie musicale, due à une lésion de la région du gyrus angulaire.

Voici les refs citées :

LECHEVALIER et al. (1985), Les troubles de la perception de la musique d’origine
neurologique : les 3 niveaux de la désintégration de la perception musicale considérée
comme une agnosie auditive : rapport de neurologie, Congrès de psychiatrie et de neurologie
de langue française, Masson, Paris, pp.15-21, 117-148; 193-195.
GRES C., GUILLOUET S. (1996), De la dyslexie développementale à la dysmusie,
Mémoire d’Orthophonie, Aix-Marseille II.


D'ailleurs il faut noter que l'on est un peu en dehors de la question : tout ça ce ne sont pas des troubles de l'oreille proprement dite, mais des troubles du cerveau

[JACBRU]

Bienvenue à un membre du corps médical dans la discussion! (...)

+ 1, je crois que cela était très attendu.
Et je dirais même plus (Dupont/dupond inside ) je crois qu'il serait utile que nos deux praticiens des tests pharmacologiques participent aux séances ABX (organisation en particulier), dont celles des des kangourous, si du moins la conclusion de leurs observations croisées ne vient pas suggerer qu'il est vain, avec les moyens inévitablement limités mis en oeuvre par ces audiophiles curieux, de tenter cette méthodologie.

Merci, c'était très clair (...). Pour revenir aux tests ABX, s'il s'agit de prouver une différence, je ne vois pas à quels biais méthodologiques font ou ont fait allusion Expertdoc, JACBRU et fgirard (je ne sais pas si ce dernier a retourné sa veste depuis ) Le seul (et important) problème est qu'on ne sait pas comment réduire le nombre de faux négatifs (ni s'ils sont importants en proportion). Par contre on est sûr, et c'est déjà bien, qu'il n'y a pas de faux positifs (sauf erreur de manip).

C'est a priori ma reflexion à ce stade. L'ABX audio se borne à l'identification d'une différence sans prétendre hiérarchiser les matériels ni même, stricto sensu, caractériser et qualifier les différences ressenties (les ABXeur le font mais à ma connaissance il n'a pas été tiré autre chose que des hypothèses de ces observatons complémentaires, détachables de l'ABX lui-même).

Je vois que j'ai provoquer des réactions. Première chose, mon intervention n'est pas du tout une critique de la méthode ABX mais plutôt une réaction sur la possibilité d'utiliser ou non les méthodes de la pharmacologie clinique. D'ailleurs, en neurologie en particulier, les tests ABX font partie de la panoplie de tests couramment utilisés. Ces méthodes sont universelles pour tout phénomène liés aux fonctions vitales, c'est à dire tout phénomène soumis à une variabilité en fonction des individus, l'audition en est un.

C'est l'intérêt de ton intervention, qui se situe très exactement au coeur du sujet ouvert par Oryzon, observation faite que ce fil, contrairement à beaucoup de ses prédecesseurs, se mantient de manière constructive et, pour l'heure, aborde il me semble des terres nouvelles qui le rende passionnant

(...) J'ai aussi voulu rappeler que la méthode croisée n'est pas la seule et que la méthode parallèle est aussi une possibilité, ceci quel que soit le test statistique utilisé. Je suis d'accord, chacune a ses avantages et ses inconvénients. Le choix entre les deux ne dépend que de la question posée et du test choisi. Le nombre de participants (j'allais dire patients) à sélectionner lui est aussi directement lié. Pour que les groupes soient homogènes, il peut être important. Il vaut souvent mieux faire plusieurs petites études pour répondre à chaque question bien ciblée qu'une grande qui cherche une réponse à tout.
Développer les différentes méthodes et les précautions pour minimiser les biais ne peuvent pas être expliquées ici, mais il faut savoir qu'il reste toujours un facteur d'incertitude dans la réponse à une question, c'est à dire la probabilité d'obtenir une réponse contraire à la réalité. Si le tirage au sort a été bien fait, cette probabilité et inversement proportionnelle au nombre de participants à l'étude. Le nombre de participants nécessaire pour une probabilité d'erreur donnée est proportionnel à la variabilité du phénomène étudié dans la population. Autrement dit, plus il y a une dispersion des opinions sur une question donnée, plus il faudra de participants pour donner une réponse fiable (par exemple risque de se tromper dans la réponse à une question < 5%). En pratique tout à une limite et l'on ne peut répondre à tout.

Ceci avait été abordé à plusiers reprises. C'est un des motifs d 'exaspération de ceux qui contestent la valeur, ou du moins l'utilité de l'ABX en audio : le résultat d'un ABX positif n'est pas absolu et ouvre toujours une voie à la discussion critique.
On a eu cette discussion sur le fil de Corsario dans l'hypothèse ou un positif ne serait pas réedité (grandX si tu nous lit ).
De mon point de vue ce n'est pas un argument pour/contre. On fait avec ce qu'on a et si j'ai bien compris, même en pharmacologie, en dépit des enjeux et des moyens mis en œuvre, la certitude n'existe pas, on essaie seulement de l'approcher (ndr : j'ai travaillé sur les essais de phase 3 et 4, non sous l'angle pharmacologique mais sous celui de la responsabilité médicale)

Ceci pour faire comprendre qu'effectivement ces méthodes d'évaluation demandent réflexion, parfois études, préalables avant d'organiser un test. J'ai rarement vu publier des résultats qui aient un sens. C'est déjà difficile pour la comparaison de systèmes acoustiques, plus encore pour les électroniques, encore plus pour les câbles HPs et de modulations, quand aux cordons secteurs ????? En plus, on juge en réalité toute la chaîne électro-acoustique de saisie (à partir du lieu de prise de son) et de restitution (jusqu'aux centres d'interprétation cérébraux, en passant par le local d'écoute). Il y a donc du boulot.

Pour ce que j'ai souligné en gras : je crois qu'un exemple critique serait utile pour qu'on comprenne concrètement, sur un cas d'espèce, les difficultés que tu exposes.
Pour ce que j'ai surligné en rouge : d'où ma requête, à quand l'intervention des praticiens des essais cliniques sur les ABX audio ?

Quelque soit la méthode choisie, il faut que la chaîne soit absolument la même à une seule différence près pour que, dans les conditions définies, et seulement dans celles ci on puisse prétendre à une comparaison. Bien sûr, une enceinte peut mieux "sonner" qu'une autre tout simplement parce que sa fréquence de résonance propre, par exemple, ne stimule pas celle du local dans lequel elle est écoutée. Dans un autre local il peut en aller tout autrement. On n'aura donc jamais de réponse universelle et indiscutable quelle que soit la méthode. Ne soyons pas défaitiste, on peut espérer des tendances ! Finalement pour une question précise et bien posée les groupes parallèles peuvent avoir un intérêt. Dans d'autres conditions on ne peut parfois pas éviter les tests croisés. Il n'y a ni vérité ni exclusive, il faut être pragmatique(...)

J'ai un doute. Parlons nous de la même chose ? L'ABX audio fait preuve d'humilité et se borne en l'état à signaler une différence (dans le même sens, une fois n'est pas coutume , le post d'expertdoc ci-après)

Expertdoc a ecrit : Sur le concept théorique je te comprends mais reste donc à révolutionner les procédures actuelles d'ABX audio en hifi car en clinique les réponses attendues, même "subjectives" ne sont pas en général de type "différence / pas de différence" .... et comme en plus c'est de la musique reste le grand souci de "l'objectivité" des centres cérébraux (dernier point qui n'est pas réservé à l'ABX bien sûr), sans parler de la fatigabilité déjà évoquée. En tout cas merci de ta contribution et peut être que les pistes que tu as tracées dans la 2ème partie de ton post seront d'utilité pour les passionnés de la chose, même si le boulot semble immense et les moyens à mobiliser très conséquents.

Révolutionner ou Adapter ? A-ton besoin d'autant de moyens que pour un essai pharmacologique ?

Mon intervention ne visait pas particulièrement les tests ABX qui sont une méthode d'évaluation de processus biomédicaux parmi d'autres. Dans ce contexte les évaluations de différences sont pratiques courantes, puisqu'il est recommandé d'avoir au moins un groupe témoin (placebo ou traitement de référence) pour savoir sil existe une différence significative sur la question ciblée posée. Dans ce cadre la méthodologie adoptée dépend du contexte. Il n'y a aucune raison de procéder autrement pour évaluer un critère de perception auditive. L'étude de sons provenant d'un système électro-acoustique se fait bien dans ce cadre. Que je sache les études en ORL ou en neurophysiologie utilisent beaucoup des stimuli produit par des appareils électronique et transmis par des enceintes ou des casques.

Je ne sais pas ce que tu appelles un ABXeur, je ne connais que des TESTeurs. Il n'y a pas un clan ABX ou un clan Ki2 (les Kideuxheures peut être). La première chose à faire et d'établir la question à laquelle on cherche une réponse puis on va voir le statisticien et l'on discute. Avec lui on établit les conditions d'étude, croisée ou parallèle, critère(s) de comparaison, procédures techniques, matériel, profile des testeurs, sélection, méthode de tirage au sort, etc ... et finalement nombre de testeurs à recruter. Celui ci dépend de la probabilité de confiance recherchée pour l'étude (en général on veut p<5% plus p est faible, plus il faut de mesures), de la probabilité d'occurrence du phénomène (plus elle est faible, plus il faut de mesures), de la dispersion des résultats mesurés (plus elle est grande plus il faut de mesures). Bien sûr, dans de nombreux cas il faut un testeur pour une mesure. Ensuite, effectivement les méthodes croisées demandent moins de testeurs (auditeurs dans notre cas) que les méthodes en groupes parallèles. Mais celles ci, lorsqu'elle sont possibles sont plus faciles à organiser. Par exemple, pour la méthode croisée, il faut obligatoirement un "lavage" (wash-out) entre deux mesures pour diminuer, par exemple, tout effet de mémoire. etc., etc. Quand tout le monde est d'accord sur le protocole et sur les méthodes d'évaluation statistique, y a plus qu'à ... organiser les choses, pas toujours simple.

En tous cas pas aussi simple que ce que j'ai lu dans les revues. La dernière étude exposée dans la Revue du Son concernait la comparaison de de quelques haut-parleurs large bande placé derrière un rideau pour l'aveugle. Une dizaine d'auditeurs choisi parmi des lecteurs de la revue avaient un questionnaire à rédiger au fur et à mesure de l'écoute (système A, B, C, etc .). A-t-on pensé que le nombre de participant tait ridicule. Qu'ils n'avaient pas tous la même chaise, au même endroit dans la salle. A-t-on tenu compte de l'heure du test. Je ne suis pas sûr que l'on écoute de la même manière à jeun ou après un bon repas bien arrosé ! Éventuellement de leurs antécédents ORL ! Si l'on veut être rigoureux, il peut être important de vérifier l'audition des participants. Etc, etc.

Mettons que l'on fasse l'étude, il faut saisir les résultats et adresser le tout au statisticien qui rend un rapport. Il faut l'analyser et rédiger un compte rendu contenant une discussion tenant compte d'éventuels aléas de réalisation. Si tout va bien on aura sur une question simple et très ciblée 5% de "chances" de se tromper dans la réponse apportée. Ce n'est pas si mal. La certitude absolue n'existe pas en ce bas monde et tout n'est que compromis.

Finalement je ne sais pas pourquoi vous vous focalisez sur ce test ABX. Bien sûr il est fait pour répondre simplement à une question théoriquement simple. Dans la pratique c'est plus compliqué. Il vaut mieux établir clairement la question qu'on se pose et chercher le meilleur test pour y répondre. Il peut être, mais pas forcément, ABX.

Dernière chose, je conçois, réalise et mets au point des systèmes acoustique originaux depuis quarante cinq ans. Les musiciens qui en ont entendu certains les trouvent proche de l'instrument de musique qu'ils pratiquent. L'évaluation est un problème toujours à mon esprit. Je ne fais référence à d'autres systèmes acoustiques (casque ou enceinte) qu'une fois la mise au point terminée. Mais même un système de référence n'en est pas la réalité. je préfère aller au concert, écouter attentivement la frappe des marteaux sur des cordes de piano, des percussion, le pincement d'une corde de guitare pour l'avoir en tête. Pour les réglages, par exemple d'un filtre, j'écoute cette frappe, sur une prise de son que je considère de référence, des dizaines de fois. A un moment il y a une valeur de condensateur (à 0,1µFarad près, toujours en exemple) où je me dis, sans l'ombre d'un doute que je me rapproche suffisamment de la réalité, c'est la bonne valeur, je ne pourrais faire mieux, j'en ai l'intime conviction. Cela, aucun ordinateur, aucun test, aucune mesure ne me le donnera. Soyons pragmatique, les outils statistiques offrent une aide parmi d'autre, parfois un contrôle, mais ne sont pas non plus la panacée.

Ceci dit, je rêve depuis longtemps de pouvoir faire un test avec des moyens et dans des conditions méthodologiques suffisantes, pour me faire une opinion réaliste de ce que l'on peut en tirer. A noter qu'il ne faut pas compter sur moi pour comparer sérieusement le son des multi-prises secteur comme l'a fait une revue ce mois ci ! Eventuellement un câble RCA de liaison ou HP, et encore.

[JACBRU]

Je croyais que Bernard Auriol était considéré comme un charlatan (ou du moins pas très sérieux, accréditant certaines démonstration paranormales) par la médecine traditionnelle ?

ça c'est bien possible, je ne connais pas le bonhomme, mais ça ne change rien aux gens qui souffrent d'amusie et de dysmusie, troubes qui sont bien documentés, cf cet autre lien :

Les troubles observés en musique
Concernant les troubles consécutifs à des atteintes cérébrales, nous avons relevé :
♦ L’amusie, trouble des fonctions musicales suite à des lésions cérébrales acquises.
♦ Le trouble de la perception musicale (LECHEVALIER, 1985), qui peut atteindre
trois niveaux de désintégration différents.
♦ La dysmusie développementale (GRES et GUILLOUET, 1996) résultant d’une
anomalie dans la mise en place de certaines structures de l’hémisphère droit.
♦ L’alexie musicale, due à une lésion de la région du gyrus angulaire.

Voici les refs citées :

LECHEVALIER et al. (1985), Les troubles de la perception de la musique d’origine
neurologique : les 3 niveaux de la désintégration de la perception musicale considérée
comme une agnosie auditive : rapport de neurologie, Congrès de psychiatrie et de neurologie
de langue française, Masson, Paris, pp.15-21, 117-148; 193-195.
GRES C., GUILLOUET S. (1996), De la dyslexie développementale à la dysmusie,
Mémoire d’Orthophonie, Aix-Marseille II.


D'ailleurs il faut noter que l'on est un peu en dehors de la question : tout ça ce ne sont pas des troubles de l'oreille proprement dite, mais des troubles du cerveau

Attention, le système auditif, maillon terminal de la chaîne électro-acoustique, en est la partie la plus noble. Un tympan sans cerveau, lieu de toutes les intégrations, ne sert à rien. La perception n'existe qu'à son niveau.

[corsario]

Je croyais que Bernard Auriol était considéré comme un charlatan (ou du moins pas très sérieux, accréditant certaines démonstration paranormales) par la médecine traditionnelle ?

ça c'est bien possible, je ne connais pas le bonhomme, mais ça ne change rien aux gens qui souffrent d'amusie et de dysmusie, troubes qui sont bien documentés, cf cet autre lien :

Les troubles observés en musique
Concernant les troubles consécutifs à des atteintes cérébrales, nous avons relevé :
♦ L’amusie, trouble des fonctions musicales suite à des lésions cérébrales acquises.
♦ Le trouble de la perception musicale (LECHEVALIER, 1985), qui peut atteindre
trois niveaux de désintégration différents.
♦ La dysmusie développementale (GRES et GUILLOUET, 1996) résultant d’une
anomalie dans la mise en place de certaines structures de l’hémisphère droit.
♦ L’alexie musicale, due à une lésion de la région du gyrus angulaire.

Voici les refs citées :

LECHEVALIER et al. (1985), Les troubles de la perception de la musique d’origine
neurologique : les 3 niveaux de la désintégration de la perception musicale considérée
comme une agnosie auditive : rapport de neurologie, Congrès de psychiatrie et de neurologie
de langue française, Masson, Paris, pp.15-21, 117-148; 193-195.
GRES C., GUILLOUET S. (1996), De la dyslexie développementale à la dysmusie,
Mémoire d’Orthophonie, Aix-Marseille II.


D'ailleurs il faut noter que l'on est un peu en dehors de la question : tout ça ce ne sont pas des troubles de l'oreille proprement dite, mais des troubles du cerveau

Attention, le système auditif, maillon terminal de la chaîne électro-acoustique, en est la partie la plus noble. Un tympan sans cerveau, lieu de toutes les intégrations, ne sert à rien. La perception n'existe qu'à son niveau.

Certes, bien sûr.
Mais on cherchait des équivalents de la myopie par exemple. La myopie ou le strabisme sont des troubles fonctionnels de l'oeil, pas du cerveau. On cherchait s'il existait la même chose pour l'oreille.
Je me répondais à moi-même en quelque sorte, en nuançant et en remarquant que l'amusie ou la dysmusie sont des troubles du cerveau alors que la presbyacousie est un trouble de l'oreille.

[JACBRU]

Je croyais que Bernard Auriol était considéré comme un charlatan (ou du moins pas très sérieux, accréditant certaines démonstration paranormales) par la médecine traditionnelle ?

ça c'est bien possible, je ne connais pas le bonhomme, mais ça ne change rien aux gens qui souffrent d'amusie et de dysmusie, troubes qui sont bien documentés, cf cet autre lien :

Les troubles observés en musique
Concernant les troubles consécutifs à des atteintes cérébrales, nous avons relevé :
♦ L’amusie, trouble des fonctions musicales suite à des lésions cérébrales acquises.
♦ Le trouble de la perception musicale (LECHEVALIER, 1985), qui peut atteindre
trois niveaux de désintégration différents.
♦ La dysmusie développementale (GRES et GUILLOUET, 1996) résultant d’une
anomalie dans la mise en place de certaines structures de l’hémisphère droit.
♦ L’alexie musicale, due à une lésion de la région du gyrus angulaire.

Voici les refs citées :

LECHEVALIER et al. (1985), Les troubles de la perception de la musique d’origine
neurologique : les 3 niveaux de la désintégration de la perception musicale considérée
comme une agnosie auditive : rapport de neurologie, Congrès de psychiatrie et de neurologie
de langue française, Masson, Paris, pp.15-21, 117-148; 193-195.
GRES C., GUILLOUET S. (1996), De la dyslexie développementale à la dysmusie,
Mémoire d’Orthophonie, Aix-Marseille II.


D'ailleurs il faut noter que l'on est un peu en dehors de la question : tout ça ce ne sont pas des troubles de l'oreille proprement dite, mais des troubles du cerveau

Attention, le système auditif, maillon terminal de la chaîne électro-acoustique, en est la partie la plus noble. Un tympan sans cerveau, lieu de toutes les intégrations, ne sert à rien. La perception n'existe qu'à son niveau.

Certes, bien sûr.
Mais on cherchait des équivalents de la myopie par exemple. La myopie ou le strabisme sont des troubles fonctionnels de l'oeil, pas du cerveau. On cherchait s'il existait la même chose pour l'oreille.
Je me répondais à moi-même en quelque sorte, en nuançant et en remarquant que l'amusie ou la dysmusie sont des troubles du cerveau alors que la presbyacousie est un trouble de l'oreille.

On l'a déjà dit hypoacousie fonctionnelle, presbyacousie. je ne vois pas trop où tout cela peut mener. Mon métier actuel, l'information scientifique et stratégique pour les industries de la santé. On peut toujours faire une recherche bibliographique sur le sujet, mais dans quel but ?
L'important c'est se poser une question concrète dans le domaine électro-acoustique et de réfléchir sur le ou les moyens d'y répondre.

[corsario]

ça c'est bien possible, je ne connais pas le bonhomme, mais ça ne change rien aux gens qui souffrent d'amusie et de dysmusie, troubes qui sont bien documentés, cf cet autre lien :



Voici les refs citées :

LECHEVALIER et al. (1985), Les troubles de la perception de la musique d’origine
neurologique : les 3 niveaux de la désintégration de la perception musicale considérée
comme une agnosie auditive : rapport de neurologie, Congrès de psychiatrie et de neurologie
de langue française, Masson, Paris, pp.15-21, 117-148; 193-195.
GRES C., GUILLOUET S. (1996), De la dyslexie développementale à la dysmusie,
Mémoire d’Orthophonie, Aix-Marseille II.


D'ailleurs il faut noter que l'on est un peu en dehors de la question : tout ça ce ne sont pas des troubles de l'oreille proprement dite, mais des troubles du cerveau

Attention, le système auditif, maillon terminal de la chaîne électro-acoustique, en est la partie la plus noble. Un tympan sans cerveau, lieu de toutes les intégrations, ne sert à rien. La perception n'existe qu'à son niveau.

Certes, bien sûr.
Mais on cherchait des équivalents de la myopie par exemple. La myopie ou le strabisme sont des troubles fonctionnels de l'oeil, pas du cerveau. On cherchait s'il existait la même chose pour l'oreille.
Je me répondais à moi-même en quelque sorte, en nuançant et en remarquant que l'amusie ou la dysmusie sont des troubles du cerveau alors que la presbyacousie est un trouble de l'oreille.

On l'a déjà dit hypoacousie fonctionnelle, presbyacousie. je ne vois pas trop où tout cela peut mener. Mon métier actuel, l'information scientifique et stratégique pour les industries de la santé. On peut toujours faire une recherche bibliographique sur le sujet, mais dans quel but ?
L'important c'est se poser une question concrète dans le domaine électro-acoustique et de réfléchir sur le ou les moyens d'y répondre.

Ah mais moi non plus !!
Je réponds gentiment et rapidement aux questions de tkfu pour que l'on puisse passer à autre chose, c'est tout...
Maintenant il a ses réponses, c'est bon...
On se couchera un peu moins bête ce soir, et on peut passer à la suite...

Moi non plus je ne sais pas ce qu'il a derrière la tête !

[Pio2001]

Bonjour Jacbru,

Dans nos tests en aveugle, nous utilisons la méthode ABX parce que c'est pratiquement la seule à notre portée. Du coup, on fonctionne à l'envers. Au lieu de choisir la bonne méthode pour répondre à nos questions, on se réduit à poser les seules questions auxquelles notre méthode peut répondre : la différence entre A et B est-elle perçue ?

Autrement dit, la méthode de base peut confirmer qu'une différence perçue est imputable aux appareils écoutés (test ABX positif), ou ne rien confirmer du tout (test ABX négatif).

On utilise alors cette méthode comme un outil, dans tout un tas de circonstances possibles : confirmer qu'une différence connue vient bien des appareils (ex : ABX haute résolution, par Corsario), estimer si les appareils jouent un rôle important dans une différence moins bien connue (ex : ABX de câbles de modulation), voir si deux appareils de conception connue mais de sonorité inconnue exhibent une différence évidente à l'écoute (ex : ABX d'amplis de Syber), ou même carrément confronter sa perception quotidienne de la sonorité des appareils à sa capacité de les identifier en aveugle (recherches actuelles de Grand X).

Deux exemples d'utilisation de l'ABX :

Test de sorties casques avec Nitri :
http://chaud7.forumactif.fr/tests-abx-f ... x-t457.htm
Un test ABX, réalisé après les mesures, a montré que sur un certain casque, et sur un signal musical, l'impédance de la sortie pouvait avoir un effet audible sur le son. Sans cela, impossible de savoir si la sonorité que l'on perçoit vient de l'impédance de sortie, ou d'une simple impression subjective.

Test de câbles secteurs avec JV Serinus :
http://www.hometheaterhifi.com/volume_1 ... -2004.html
Parmi les descriptions données par les auditeurs, il y avait par exemple celle d'une différence de volume sonore entre les câbles. Les réponses données dans le test ne correspondant pas à la série tirée au sort (ni à son opposé), on peut en déduire que la différence de volume perçue par cet auditeur n'est pas dûe au câble. Conclusion impossible sans mise en aveugle.

[JACBRU]

Bonjour Jacbru,

Dans nos tests en aveugle, nous utilisons la méthode ABX parce que c'est pratiquement la seule à notre portée. Du coup, on fonctionne à l'envers. Au lieu de choisir la bonne méthode pour répondre à nos questions, on se réduit à poser les seules questions auxquelles notre méthode peut répondre : la différence entre A et B est-elle perçue ?

Autrement dit, la méthode de base peut confirmer qu'une différence perçue est imputable aux appareils écoutés (test ABX positif), ou ne rien confirmer du tout (test ABX négatif).

On utilise alors cette méthode comme un outil, dans tout un tas de circonstances possibles : confirmer qu'une différence connue vient bien des appareils (ex : ABX haute résolution, par Corsario), estimer si les appareils jouent un rôle important dans une différence moins bien connue (ex : ABX de câbles de modulation), voir si deux appareils de conception connue mais de sonorité inconnue exhibent une différence évidente à l'écoute (ex : ABX d'amplis de Syber), ou même carrément confronter sa perception quotidienne de la sonorité des appareils à sa capacité de les identifier en aveugle (recherches actuelles de Grand X).

Deux exemples d'utilisation de l'ABX :

Test de sorties casques avec Nitri :
http://chaud7.forumactif.fr/tests-abx-f ... x-t457.htm
Un test ABX, réalisé après les mesures, a montré que sur un certain casque, et sur un signal musical, l'impédance de la sortie pouvait avoir un effet audible sur le son. Sans cela, impossible de savoir si la sonorité que l'on perçoit vient de l'impédance de sortie, ou d'une simple impression subjective.

Test de câbles secteurs avec JV Serinus :
http://www.hometheaterhifi.com/volume_1 ... -2004.html
Parmi les descriptions données par les auditeurs, il y avait par exemple celle d'une différence de volume sonore entre les câbles. Les réponses données dans le test ne correspondant pas à la série tirée au sort (ni à son opposé), on peut en déduire que la différence de volume perçue par cet auditeur n'est pas dûe au câble. Conclusion impossible sans mise en aveugle.

Oui, mais je pense quand même que l'on peut poser des questions plus complexes, bien ciblées et réaliser une étude pas trop complexe qui puisse donner des résultats significatifs. En biomédical on démontre bien certaines choses avec 25 patients. Il y a une condition, l'évaluation de la confiance que l'on peut accorder au test. Les compte-rendus deux tests proposés ne disent rien de cette confiance. C'est ce que je disais, je n'ai jamais vu aucune étude publiée qui ait une quelconque valeur. heureusement qu'il en faut plus pour obtenir la mise sur le marché d'un médicament. Pourtant, on ne peut pas connaître encore très bien un médicament nouveau au moment du lancement. Il faut parfois des millions de prescriptions pour découvrir un événement indésirable rare, parfois grave.
Nous ne parlons que des évaluations prospectives, mais on peut, peut être, aussi faire des études rétrospectives, essentiellement bibliographiques, ou même des études de tolérance "sentinelles". Par exemple, pourquoi ne demanderait-on pas à certains intervenants sur le forum de déclarer systématiquement les problèmes ayant entrainé un SAV avec leurs appareils électro-vidéo-acoustiques. De telles études pourraient être objectives sur la fiabilité des différents matériels.

Pour les tests ABX, effectivement, une électronique marche généralement mieux quand on la charge par une impédance correspondant à ce qui a été prévu par le concepteur. On sait, par exemple, que le facteur d'amortissement d'un amplificateur dépend de l'impédance interne du circuit et de l'impédance du transducteur qui le charge. Il existe forcément une impédance de charge qui induit un facteur d'amortissement optimal. Il n'est pas surprenant qu'une étude l'ai montré. On sait que les montages à lampe sont particulièrement sensibles à l'impédance de charge. Pour ce genre de question on peut trouver une confirmation subjective avec assez peu d'auditeurs.
Quand au test de câble secteur, je l'ai déjà dit, je ne m'y serait pas frotté. les différences subjectives, si différences il y a, sont trop faibles pour pouvoir être mises en évidence. Je ne pense pas que vous puissiez tester avec suffisamment d'auditeurs. En pharmaco-clinique on ne lance pas une étude, vu le coût, si l'on est sûr, dès le départ, de ne rien pouvoir démontrer !

Je le répète, il ne faut pas être totalement pessimiste, il est probablement instructif de réaliser au niveau de HC-FR, avec des forumeurs volontaires, une étude prospective qui tienne réellement la route, en vrai double aveugle (double blind des anglo-saxons), avec un tirage au sort (randomisation) selon les normes. Des idées de sujets ?

[Pio2001]

N'importe quel sujet peut faire l'affaire. Il faut déjà déterminer ce qui est réalisable en pratique. Tout d'abord, on peut compter sur 5 auditeurs maximum par rencontre, à moins que tu n'aies toi-même un auditorium assez vaste à proposer pour accueillir plus de monde. Ou alors, il faut travailler en plusieurs fois.
Sachant cela, on peut dire si le test sera parallèle, ou croisé. S'il est croisé, éliminons les enceintes, trop difficiles à intervertir en double aveugle : faire sortir l'auditeur de la pièce les yeux bandés, puis permuter, ou non, les paires d'enceintes sans faire le moindre bruit...

Sur l'ensemble des autres appareils, les électroniques analogiques (préamps, amplis, lecteurs intégrés et DACs) nécessitent un alignement du volume et de la balance à 0.1 dB près. Un protocole d'alignement est à définir pour des DACs ou lecteurs sans contrôle de volume (changer de CD ?). Pour un ampli de puissance, il faut un pont de résistances (Ohl en a fait un) et une carte son pour mesurer la tension à 0.1 dB près. Pour les câbles, c'est plus simple à préparer... mais plus difficile à écouter.

Enfin, il faut tenir compte de la capacité des auditeurs. En ABX, il est impossible de distinguer des câbles, et extrêmement difficile de différencier deux lecteurs de CD, DACs ou amplis.
Si le test nécessite beaucoup d'efforts, il faudra qu'il soit utile. Pas la peine dès lors de comparer des appareils à tubes, différenciés en ABX depuis belle lurette, aussi bien amplis que DACs.

Amplificateurs à transistors, ou lecteurs de CD ou autre disques optiques me semblent donc de bons candidats pour ce genre de test : on n'est pas sûrs du résultat.

[Pio2001]

On pourrait objecter qu'on est relativement sûrs du résultat avec ampli ou lecteur de CD : conforme aux mesures, et qu'un domaine véritablement intéressant à explorer serait plutôt les filtres d'enceinte. Mais je pense que l'on pourrait déjà dégrossir la question des filtres avec des tests moins poussés, et que si on se donne pour but de faire un test beaucoup plus poussé que d'habitude, cela pouvant nous demander une ou deux années de travail, il vaut mieux s'attaquer aux fondamentaux : les électroniques à semiconducteurs.

[Mahler]

Pour l'exemple, une proposition de test aveugle pour câbles que j'avais proposé à un forumeur à l'époque. Sans succès.

(je sais, il y a des erreurs de stats et l'idée de tester 3 câbles en même temps au lieu de 2 était mauvaise(ce n'était pas mon idée)) :

Bonjour a tous,

Le but de ce test en aveugle est bien de mettre en évidence une différences entre les câbles xlr .

Etablir une différence ne veut pas dire que l’un est meilleur ou pas.

Nous avons la chance de faire ce test en aveugle sur une chaine thdg dans une pièce dédiée. Merci à XXXX.

On évite la polémique du boitier abx qui ferait « bouchon » car il n’y pas besoin d’égalisation du volume avec les changements de câbles.

Le changement de câbles s’effectuera à la main et pas avec la télécommande du boitier abx, il est donc nécessaire d’avoir un protocole strict pour éviter toutes influences.

Je vais donner un numéro à chaque règles, on peut en discuter après si vous le souhaiter.


1) Il faut 6 personnes (de bonne foi) maximum dont un changeur de câbles qui ne participera pas aux tests. Il faut donc un volontaire pour cela. Les participants au test abx doivent procéder au test avec le même changeur de câbles pour que l’exercice soit identique pour tous.
Donc 5 testeurs (dont moi et XXXX au minimum, je sais c’est injuste) et 1 changeur de câbles.


2) Il ne faut pas que cela soit le bordel, il ne faut pas de fatigue particulière.
On respectera donc un temps de repos après l’arrivé de testeurs, la voiture c’est dure pour les oreilles. Pas d’alcool avant les tests. Pas de pression sur les testeurs ! Ceci n’est pas un concours, donc pas de moqueries, pas de pari, il faut être dans des conditions « comme à la maison ».

3) Le changeur sera caché derrière un drap posé sur les éléctro, on percera ce drap pour avoir accès aux écrans du préamp et du lecteur cd. Pas question de bandeau sur les yeux, il faut être en condition d’écoute normale. Si le testeur voit le changeur, il peut interpréter les gestes du changeur et donc être influencer par autre chose que par le son.
Le changeur doit être invisible. C’est important.


4) Un seul testeur à la fois passe dans la pièce d’écoute. Il fait ses tests puis ressort et c’est terminer. Quand le testeur sort de la pièce d’écoutes après ses tests, il ne doit pas communiquer ses impressions aux testeurs suivant pour ne pas mettre de pression.
Dons pas de phrases du genre « c’était fastoche » ou ‘j’ai rien entendu » en sortant !


5) Il faut 2 jeux d’xlr identiques entre cd/preamp et preamp/ampli pour simplifier les choses. Il faut réunir, si possibles, des câbles réputés avoir des sonorités différentes. On se limitera à 3 câbles différents pour limiter la fatigue auditive.

Il y aura deux paires de : a – mes Mogami 2549 à 70 euros b- des Analysis à détérminer c- « a déterminer mais éloigner des analysis en terme de rendu constaté habituellement »




6) Protocole du test :

a) 1ère écoute collective à niveau raisonnable pour se mettre un peu la chaine en tête. On utilisera alors un ou deux cd qui ne seront pas utilisés plus tard.

b) Chacun ramène ses 2 ou 3 cds tests perso et fera ses tests avec ses 2 ou 3 cd perso.

c) Le testeur écoute d’abord ses cds en non aveugle. Il est libre de changer de cds, d’écouter autant de fois qu’il veut, au volume qu’il veut. Il écoutera les 3 xlr différents et se fera son opinion sur chacun des xlr. Le changeur de câbles DOIT obéir au testeur et ne pas faire de blague. Le changeur de câble doit être muet pour ne pas influencer le testeur.
Le but est de déterminer la signature sonore de chaque câble en non aveugle.

d) A l’issu de cette phase « libre » en non aveugle, soit le testeur entend des différences et il passe alors au test en aveugle, soit il n’entend pas de différences et peut alors abandonner et renoncer au test en aveugle. Avant de passer à la phase aveugle, le testeur choisit son Cd qui est le plus discriminant pour différencier les 3 xlr. Il fera son test en aveugle avec ce CD.

e) Le test aveugle se fera avec les 3 xlr. L’ordre de passage des xlr aura été tiré au sort préalablement par le changeur avec un dé.
Il y aura d’abord 10 changements d’xlr.
Les échanges de câbles se font en 30 sec env, si il n’y pas changement de xlr, alors le changeur doit simuler le changement en enlevant l’xlr en place, en le posant à terre, puis en remettant le même.
Le volume d’écoute est choisit par le testeur, au début, puis ne change plus !!!!
Le testeur est libre d’écouter chaque xlr le temps qu’il veut, il pourra répondre c’est le câble 1 ou le 2 ou le 3 ou « je sais pas ». Il faut 10 réponses nominatives, donc on peut par exemple avoir 14 changements de câbles avec 10 réponses nominatives et 4 « je ne sais pas ». On diminue ainsi la pression sur le testeur. le testeur peut interrompre sont test abx à tout moment pour réécouter les câbles en non aveugle puis reprendre son test en aveugle. Bref, il a le droit de se remettre en mémoire les différences perçus en non aveugle.

! edit : f) Il y a succès si le testeur réussit 6/10 ou plus. (p : 0.01 env)
( il faut 9/10 (13/14 en fait) en abx, mais là en fait on est en abcx)

g) Le testeur sort de la pièce sans commentaires.

Et ainsi de suite pour chaque testeurs.





7) Cela prendra env 40 à 50 minutes par testeurs. Donc prévoir 5 heures pour la séance complète, écoutes libres incluses.




Pas de tests de lecteurs cd, ou alors à la fin après les tests des xlr. Je vous rappelle que nous n’avons pas le matériel pour égaliser le volume à 0.1db prés entre deux lecteurs cd….

[Pio2001]

Dans le point e, pourquoi le volume d'écoute ne change-t-il plus ?

[wald]

Bonjour Jacbru,

Dans nos tests en aveugle, nous utilisons la méthode ABX parce que c'est pratiquement la seule à notre portée. Du coup, on fonctionne à l'envers. Au lieu de choisir la bonne méthode pour répondre à nos questions, on se réduit à poser les seules questions auxquelles notre méthode peut répondre : la différence entre A et B est-elle perçue ?

Autrement dit, la méthode de base peut confirmer qu'une différence perçue est imputable aux appareils écoutés (test ABX positif), ou ne rien confirmer du tout (test ABX négatif).

On utilise alors cette méthode comme un outil, dans tout un tas de circonstances possibles : confirmer qu'une différence connue vient bien des appareils (ex : ABX haute résolution, par Corsario), estimer si les appareils jouent un rôle important dans une différence moins bien connue (ex : ABX de câbles de modulation), voir si deux appareils de conception connue mais de sonorité inconnue exhibent une différence évidente à l'écoute (ex : ABX d'amplis de Syber), ou même carrément confronter sa perception quotidienne de la sonorité des appareils à sa capacité de les identifier en aveugle (recherches actuelles de Grand X).

Deux exemples d'utilisation de l'ABX :

Test de sorties casques avec Nitri :
http://chaud7.forumactif.fr/tests-abx-f ... x-t457.htm
Un test ABX, réalisé après les mesures, a montré que sur un certain casque, et sur un signal musical, l'impédance de la sortie pouvait avoir un effet audible sur le son. Sans cela, impossible de savoir si la sonorité que l'on perçoit vient de l'impédance de sortie, ou d'une simple impression subjective.

Test de câbles secteurs avec JV Serinus :
http://www.hometheaterhifi.com/volume_1 ... -2004.html
Parmi les descriptions données par les auditeurs, il y avait par exemple celle d'une différence de volume sonore entre les câbles. Les réponses données dans le test ne correspondant pas à la série tirée au sort (ni à son opposé), on peut en déduire que la différence de volume perçue par cet auditeur n'est pas dûe au câble. Conclusion impossible sans mise en aveugle.

Oui, mais je pense quand même que l'on peut poser des questions plus complexes, bien ciblées et réaliser une étude pas trop complexe qui puisse donner des résultats significatifs. En biomédical on démontre bien certaines choses avec 25 patients. Il y a une condition, l'évaluation de la confiance que l'on peut accorder au test. Les compte-rendus deux tests proposés ne disent rien de cette confiance. C'est ce que je disais, je n'ai jamais vu aucune étude publiée qui ait une quelconque valeur. heureusement qu'il en faut plus pour obtenir la mise sur le marché d'un médicament. Pourtant, on ne peut pas connaître encore très bien un médicament nouveau au moment du lancement. Il faut parfois des millions de prescriptions pour découvrir un événement indésirable rare, parfois grave.
Nous ne parlons que des évaluations prospectives, mais on peut, peut être, aussi faire des études rétrospectives, essentiellement bibliographiques, ou même des études de tolérance "sentinelles".

Par exemple, pourquoi ne demanderait-on pas à certains intervenants sur le forum de déclarer systématiquement les problèmes ayant entrainé un SAV avec leurs appareils électro-vidéo-acoustiques. De telles études pourraient être objectives sur la fiabilité des différents matériels.

Pour les tests ABX, effectivement, une électronique marche généralement mieux quand on la charge par une impédance correspondant à ce qui a été prévu par le concepteur. On sait, par exemple, que le facteur d'amortissement d'un amplificateur dépend de l'impédance interne du circuit et de l'impédance du transducteur qui le charge. Il existe forcément une impédance de charge qui induit un facteur d'amortissement optimal. Il n'est pas surprenant qu'une étude l'ai montré. On sait que les montages à lampe sont particulièrement sensibles à l'impédance de charge. Pour ce genre de question on peut trouver une confirmation subjective avec assez peu d'auditeurs.
Quand au test de câble secteur, je l'ai déjà dit, je ne m'y serait pas frotté. les différences subjectives, si différences il y a, sont trop faibles pour pouvoir être mises en évidence. Je ne pense pas que vous puissiez tester avec suffisamment d'auditeurs. En pharmaco-clinique on ne lance pas une étude, vu le coût, si l'on est sûr, dès le départ, de ne rien pouvoir démontrer !

Je le répète, il ne faut pas être totalement pessimiste, il est probablement instructif de réaliser au niveau de HC-FR, avec des forumeurs volontaires, une étude prospective qui tienne réellement la route, en vrai double aveugle (double blind des anglo-saxons), avec un tirage au sort (randomisation) selon les normes. Des idées de sujets ?

Je suis un peu perdu mais j'ai des excuses, je ne suis pas familier de la matière

La question différence/pas de différence est la seule qui semble être posée dans les ABX généralement cités.

Pio montre qu'on pourrait néanmoins formuler des déductions à partir des résultats dans le contexte des tests, par exemple sur l'impédance de sortie du casque et son impact sur le rendu sonore. Est ce une déduction de ce type que tu estimes sans valeur du fait de l'absence de l''évaluation de confiance . Qu'est ce au juste que cette évaluation de confiance ? Je note que tu estimes vraissemblable cette déduction (au cas d'espèce) mais que tu sembles dire qu'elle ne peut, pour autant, procéder en toute rigueur de l'ABX cité par Pio. C'est ça ?

J'ai l'impression en second lieu que vous ne parlez pas toujours de la même chose.

Tu envisages des questions plus précises ou plus pratiques (la fiabilité, l'optimisation des filtres) qui impliqueraient, si j'ai bien compris des protocoles plus complexes, alors que l'ABX de différences (pardon pour la terminologie, sans doute baroque) serait déjà non maîtrisé (pour ceux cités au sein de ce forum).

Bien évidemment cet éclairage ouvrirait le champ de notre compréhension et celà m'interesse aussi.

Mais pour l'heure, les ABX généralement réalisés et commentés sur HCFR ou CHaud7 viennent s'inscrire dans une problématique assez simple : De nombreuses personnes déclarent entendre des différences entre matériels que d'autres personnes déclarent ne pas entendre, ou qui selon elles ne pourraient exister ou être audible pour des raisons techniques, ou qu'il n'est pas certain qu'on puisse attribuer au matériel en cause, à quoi s'ajoute l'appréciation des ordres de grandeur (un changement de câbles peut il vraiment apporter une différence très significative par exemple ?).

Tu écartes a priori l'ABX de câbles - c'est un exemple - au présupposé que "les différences subjectives, si différences il y a, sont trop faibles pour pouvoir être mises en évidence. Je ne pense pas que vous puissiez tester avec suffisamment d'auditeurs. En pharmaco-clinique on ne lance pas une étude, vu le coût, si l'on est sûr, dès le départ, de ne rien pouvoir démontrer".

C'est là que je ne comprend plus.

S'il y a une problématique majeure qui traverse le petit monde de la Hifi depuis un paquet d'années, c'est l'impact sur le rendu sonore des changement de matériels, d'accessoires et plus marginalement leur tweakage, ainsi que la hiérarchie des améliorations que l'on peut espérer en composant ou en modifiant son système.

Toute la presse audio française, à l'exeption relative de Hifi-Stéréo, et un nombre considérable de fils sur tous les forums y est consacré. Si, sur certaines de ces questions, tu penses qu'il n'y a pas lieu à lancer un test ABX, le résultat (négatif) étant couru d'avance, sauf à élargir considérablement la base des testeurs (*), c'est un début de réponse mais en même temps in postulat qui combat ce fort bruit de fond. Ca vaut la peine d'explorer car ça interesse le plus grand nombre d'audiophiles moyens - dont je fais partie -, plus, à mon avis, que des question plus pointues (observation faite que je ne parle pas des études de fiabilité qui sortent un peu du sujet mais qui seraient particulièrement utiles).

Prenons une question simple et d'intérêt immédiat : les différences entre lecteurs CD ou d'amplis (en excluant les cas d'espèces liés à l'alimentation d'enceintes à l'impédance exotique).

Il n'est je suppose pas (trop) difficile de réunir entre 5 et 10 audiophiles qui déclarent entendrent aisément des différences, pour un ABX (ou un autre protocole, encore une fois je ne suis pas un spécialiste) centré sur les différences entre A et B.

La difficulté - et le débat majeur sur les tests en aveugles -, c'est que ces derniers ne voient pas l'intérêt d'un tel test ou en discutent la validité alors qu'ils constituerait une population (il me semble) adéquate pour ces tests.

Ce que je lis à travers ton intervention, et encore une fois je n'ai peut être pas compris, c'est qu'elle peut être interprétée comme "le test en aveugle tel que pratiqué n'apprendra de toute façon rien", ce qui est dissuasif. Ou bien celà remet en cause la méthode en soi ( ce que l'on va vite en déduire) , ou bien ce n'est qu'une question de mise en oeuvre.

Dans cette dernière hypothèse, sur la question différences/pas différences (si elle est pertinente), que doit on faire pour valider éventuellement les sensations de différence audibles significatives ressenties par de nombreux audiophile et toute la communauté des journalistes de revues audiophiles ? (**)

(*) Est ce à dire que s'il faut, pour le test, une population très large, celà signifie qu'on soupçonne que la différence soit si faible ou si délicate à identifier que seule une infime minorité pourrait réussir le test ?

(**) J'ai bien vu que tu avais commencé à répondre, notamment dans les extraits ci-après, mais peut-on aller plus loin tout en apportant une réponse univoque en sachant que nombre de forumeurs sont dubitatifs ou tout simplement perdus sur ces questions ?

Mon intervention ne visait pas particulièrement les tests ABX qui sont une méthode d'évaluation de processus biomédicaux parmi d'autres. Dans ce contexte les évaluations de différences sont pratiques courantes, puisqu'il est recommandé d'avoir au moins un groupe témoin (placebo ou traitement de référence) pour savoir sil existe une différence significative sur la question ciblée posée. Dans ce cadre la méthodologie adoptée dépend du contexte. Il n'y a aucune raison de procéder autrement pour évaluer un critère de perception auditive. L'étude de sons provenant d'un système électro-acoustique se fait bien dans ce cadre. Que je sache les études en ORL ou en neurophysiologie utilisent beaucoup des stimuli produit par des appareils électronique et transmis par des enceintes ou des casques

La première chose à faire et d'établir la question à laquelle on cherche une réponse puis on va voir le statisticien et l'on discute. Avec lui on établit les conditions d'étude, croisée ou parallèle, critère(s) de comparaison, procédures techniques, matériel, profile des testeurs, sélection, méthode de tirage au sort, etc ... et finalement nombre de testeurs à recruter. Celui ci dépend de la probabilité de confiance recherchée pour l'étude (en général on veut p<5% plus p est faible, plus il faut de mesures), de la probabilité d'occurrence du phénomène (plus elle est faible, plus il faut de mesures), de la dispersion des résultats mesurés (plus elle est grande plus il faut de mesures). Bien sûr, dans de nombreux cas il faut un testeur pour une mesure. Ensuite, effectivement les méthodes croisées demandent moins de testeurs (auditeurs dans notre cas) que les méthodes en groupes parallèles. Mais celles ci, lorsqu'elle sont possibles sont plus faciles à organiser. Par exemple, pour la méthode croisée, il faut obligatoirement un "lavage" (wash-out) entre deux mesures pour diminuer, par exemple, tout effet de mémoire. etc., etc. Quand tout le monde est d'accord sur le protocole et sur les méthodes d'évaluation statistique, y a plus qu'à ... organiser les choses, pas toujours simple.

[Mahler]

Dans le point e, pourquoi le volume d'écoute ne change-t-il plus ?

Pour "tester" les câbles et pas les diff de niveaux.

[Narval]

Dans le point e, pourquoi le volume d'écoute ne change-t-il plus ?

Pour "tester" les câbles et pas les diff de niveaux.

Et c' est indispensable .

NARVAL