herve25 a écrit:Je crains qu'entre Jacbru et d'autres participants, ne s'installe un dialogue de sourds (je sais c'est facile comme jeu de mots dans le contexte de l'audio) mais il y a à mon avis un véritable malentendu que je vais essayer d'expliquer ou d'illustrer par des exemples.
Je connais bien le domaine des essais cliniques puisque j'ai également conduit des essais internationaux en double aveugle pendant une vingtaine d'années (il est vraisemblable que j'ai croisé ou ai connu Jacbru dans mon "parcours professionnel) mais comme je l'ai dit dans un précédent post, il n'est pas possible d'appliquer strictement les mêmes méthodes dans l'audio et dans les essais cliniques même s'il existe des points communs (respect de l'aveugle, protocole bien pensé et agréé entre les participants, respect de la question posée, analyse statistique avec méthode validée et déterminée à l'avance, calcul du nombre de sujets etc.).
Je suis globalement d'accord avec ton intervention. Je comprends la position de certains mais nous ne parlons pas de la même chose, j'y viendrai plus loin. Je ne cherche pas à discuter sur les vertus de tel ou tel test mais je trouve que le problème des tests en audio est l'absence significativité de la plupart des évaluations de matériel. Si on l'évalue sérieusement les choses à postériori, il apparaît pratiquement toujours que les conditions de réalisation auraient dues être plus précisément établies à priori. Je ne dis pas avec autant de précautions que pour l'évaluation d'un médicament, mais quand même, il y a un minimum, j'y reviendrai. Finalement, les résultats sont considérés comme des références tout à fait crédibles par la profession, y compris et d'abord par les journalistes. Alors que, tout au plus, ils peuvent donner une tendance dans les meilleurs cas. Bien utilisés ils ouvrent des marchés très lucratifs à des personnes qui n'ont absolument aucun intérêt à se poser plus de questions. C'est un problème que je voulais aborder depuis longtemps, j'ai pris "en route" cette discussion dans ce but. D'où l'incompréhension de certains, je le comprends, je l'ai provoquée. Je vais essayé d'être plus clair et plus complet.
Première remarque, s'il n'est pas possible d'appliquer aussi strictement les méthodes d'évaluation qu'en clinique, il n'en reste pas moins que les principes de qualité sont immuables et qu'il faut un minimum de méthode pour ne pas perdre son temps, éventuellement l'argent investi.
ohl a écrit:Merci à Hervé pour sa critique constructive mais qui, de mon point de vue, n'est pas bien ciblée. Tentons une explication :
je prétends, comme d'autres, que s'il y a une différence audible, dans des conditions domestiques, entre deux éléments (lecteur CD, DAC, préampli, ampli, câble,...), cette différence s'explique toujours par des mesures.
Mais si, un seul auditeur particulièrement affuté parvient à démontrer qu'il entend une différence, que ce n'est pas du au hasard et que cette différence ne s'explique pas techniquement, cela me suffit. Je n'ai pas besoin d'une valeur statistique sur la population. D'abord s'il y a un auditeur, il est vraisemblable qu'il y en a d'autres. Et cela justifie déjà l'argument du concepteur/vendeur sur les qualités auditives supérieures de son produit. Et pour le prix, le marché régulera.
C'est évidemment que je m'attache à cet aspect technique, à la restitution idéale et que je suis sans doute trop "perfectionniste". Que la majorité de la population n'entende rien, ça m'est égal. Que le matériel soit cher, ça m'est égal. Mais il faut que la différence existe, c'est simple.
Tu crois que je ne suis pas perfectionniste ? Je ne sais pas trop comment définir la restitution idéale mais j'ai simplement cherché, depuis quarante cinq ans de développement de systèmes acoustiques originaux (en dehors de mes activités professionnelles), deux choses, le respect de la source et la transmission de l'émotion. J'ai, je crois, pas mal progressé sur ce chemin.
Tu as besoin d'un "auditeur particulièrement affuté" pour que sa perception et son avis ne puisse être mis en doute à postériori. Effectivement, si tu l'as sous la main, un seul auditeur et une seule mesure peuvent suffire. Mais l'idéal étant inaccessible ou très rare, as tu l'oiseau ? Là est « the » question à laquelle tu ne peut répondre, sauf si tu le contrôle.
Bien sûr les caractéristiques d'un auditeur, disons suffisamment affutées, peuvent être communes à un certain nombre de personnes dans une population. Pour beaucoup de critères de normalité 80% des individus d'une population donnée peut être considérée comme homogène (la fameuse courbe de Gauss). Si je comprends bien, tu prends un auditeur au hasard, considéré comme normal puisqu'il semble percevoir normalement une conversation, tu lui fais faire le test ABX (au moins en aveugle, je n'ai jamais dit le contraire, mieux, en double aveugle). Un seul auditeur et un seul test paraissant suffisant, sa réponse représente le résultat définitif de l'étude. Tu peut, tu le conçois, découvrir a postériori un problème quelconque qui l'empêche de bien entendre et juger, tu invalideras donc le résultat et choisira un autre auditeur. Ai-je bien compris la démarche proposée. Elle peut effectivement se comprendre par analogie avec une situation de test de tolérance en pharmaco-toxicologie clinique phase II ou en pharmacovigilance puisque tu ne peux pas prévoir a priori qui va faire une réaction au traitement testé. On doit alors se poser la question s'il y a un lien entre la prise du produit par le patient et la survenue de l'effet toxique et/ou indésirable (on appelle cela imputabilité). Il faut réaliser des tests chez ce seul patient pour établir ou infirmer ce lien (pourquoi pas des tests ABX dans certains cas). Si on obtient en conclusion une probabilité significative (il n'y a jamais de certitude absolue) d'absence de lien, le patient n'est pas décompté dans la liste de ceux qui ont présenté un effet toxique et/ou indésirable. Mais on pratique de cette manière parce que l'on ne peut, en aucun cas, prévoir quel événement indésirable apparaîtra chez quel patient. Dans le domaine de l'audio, on n'est pas dans ce cas, on peut tout à fait sélectionner à priori des auditeurs sur des critères objectifs simples. Je ne vois aucune raison de ne pas le faire.
Il est donc, au minimum, conseillé, sinon obligatoire, que le protocole définisse cet "auditeur particulièrement affuté", je dirais « auditivement » sain, d'où l'idée d'au moins baser la sélection de "l'heureux élu" sur le critère d'un audiogramme normal (c'est assez facile à réaliser avec une chaine stéréo, un CD générateur de fréquence et un casque). Le protocole devrait alors comprendre des "critères d'inclusion spécifiques de l'auditeur" et exclure la possibilité d'invalider a postériori un auditeur pour d'autre raison que sa mauvaise application. Dans certains cas, prévus par le protocole, une seule réponse de l'auditeur choisi suffit pour conclure l'étude.
Tout ceci n'est pas si compliqué et inapplicable à l'audio qu'il n'y parait. Je vais tenter d'illustrer les choses. Allons au plus simple, parlons évaluation d'éléments d'une chaîne électro-acoustique de restitution (plus simplement d'une chaîne HiFi) et contentons nous de déceler une différence entre deux éléments de même nature. Le simple bon sens fait apparaître que la différence entre deux enceintes acoustiques qu'entre deux électroniques ou deux accessoires (câbles en particulier). Dans ce dernier domaine on peut raisonnablement penser que la différence perçue entre deux câbles de modulation ou haut-parleurs sera plus nette qu'entre deux câbles d'alimentation électrique. Prenons pour exemple la situation la plus délicate, celle des câbles d'alimentation. Si certains fabricants de câbles d'alimentation secteur préconisent leur production à prix d'or et si certains les achètent dans ces conditions, c'est qu'ils assurent ou espèrent se rapprocher du Graal audio, « la restitution idéale », ce qui n'a pas de limite de prix puisque inaccessible.
Restons plus terre à terre, posons une question réaliste, peut on envisager une différence pour l'écoute d'une chaîne équipé de câble d'alimentation sophistiqué par rapport à un câble de référence. Cette question reste volontairement très générale. Si l'étude répond oui, le marché des câbles et crédible, si c'est non, très logiquement on devra être très réticent pour l'achat d'autre chose que le câble d'origine de l'appareil.
A ce stade de réflexion se pose, quels câbles d'alimentation secteur choisir ? Soyons pragmatique, sur un critère d'audition, la différence, si elle existe à toutes chances d'être ténue. Il faut donc choisir les câbles à comparer pour que la différence soit à priori la plus importante possible. Dès lors il est logique, je pense, de prendre en référence un câble standard fourni par le fabricant (a priori moins performant, c'est loin d'être sûr, mais que choisir d'autre) et comme câble à tester le meilleur possible. Le meilleur possible ? Comment le définir si l'on a pas encore testé tous les câbles disponibles, peut être la queue du serpent qui se la mort. On n'a pas de solution pour le choix, que faire ? Tirer au sort un câble parmi les produits présents sur le marché ou faire une petite étude bibliographique sur les opinions journalistiques ou autres et choisir le câble le plus souvent plébiscité. Ce n'est rigoureux ni dans un cas ni dans l'autre, tant pis, il faut bien un critère, ceux là ne sont pas les plus critiquables.
La question définitive posée est donc : « Existe-t-il une différence significative pour l'écoute entre une chaîne équipée de câble d'alimentation secteur optimisé et une autre d'un câble standard ? »
Oui mais, pour pouvoir comparer, il faut d'abord que le câble secteur soit la seule variable de la chaîne. La performance globale d'une chaîne dépend de son maillon le plus faible. Il faut donc absolument que le maillon le plus faible soit le câble secteur testé. Conclusion, il faut définir une chaîne électro-acoustiques de haute qualité qui permette de mesurer ou percevoir une différence sur une seule variable, le câble secteur. En fait, l'ensemble de la chaîne de restitution est jugée, du CD contenant le fichier à écouter, jusque et y compris l'enceinte acoustique. Il est nécessaire de disposer d'autant de chaînes HiFi identiques que de câbles à tester...
Oui mais, une chaîne HiFi comprend plusieurs composants électroniques, donc plusieurs câbles secteurs ! Que faire ? Comparer un ensemble « tous câbles standards » à un ensemble « tous câbles optimisés », comparer un ensemble « tous câbles standards » à un ensemble « tous câbles standards sauf un », optimisé ? Mais lequel sur quel appareil ? Lecteurs CD, préampli, ampli ? Chacun appareil doit être directement alimenté par une prise de courant, si possible connecté directement à un même compteur électrique via un fusible. Peut être une solution au dilemme, une chaîne intégrée de qualité avec un seul câble secteur d'alimentation de toute l'électronique. Encore faut il qu'il soit amovible, avec une prise de terre et aux normes.
Beaucoup de questions et l'on n'a pas encore abordé la méthode d'évaluation! Plusieurs options sont envisageables.
Si elles existent, des mesures objectives permettant d'affirmer qu'une différence pourra-être audible. Conditions préalables, la mesure doit avoir une corrélation démontrée avec l'écoute par un auditeur et être assez performante pour discriminer une différence attendue. Si l'on « saisit », puis enregistre le son obtenu lors du test, dans le but d'évaluer, de modéliser, comparer chaque enregistrement, le matériel (micros, électronique, support de stockage, enceintes), la qualité du format de fichier, les algorithmes d'évaluation, etc. doivent être suffisamment discriminants pour établir indiscutablement une différence, si elle existe. Cette différence doit traduire un phénomène audible par le système auditif humain. L'avantage, la certitude de la mesure. Je n'ai pas évalué si une technique répondant à ces critères existe dans le cas posé ici en exemple. Si c'est le cas, la variabilité ne rentrant pas en compte, inutile de faire appel à la subjectivité de l'audition humaine. Une seule mesure est suffisante.
Si une telle mesure n'existe pas, n'est pas assez performante ou inapplicable, il faut envisager l'intermédiaire du système auditif humain. Vue la question posée, la simple évaluation d'une différence sans aspect qualitatif, la technique des tests ABX est effectivement éligible, c'est la méthode d'évaluation la plus accessible.
Viennent ensuite les questions sur la variabilité d'appréciation d'un phénomène subjectif, telle la perception auditive. On n'échappe pas à la variabilité physiologique. Elle peut être intra-individuelle, inter-individuelle ou, bien sûr, les deux.
La variabilité inter-individuelle provient des différences de perception auditive d'un individu à l'autre, mais aussi de l'appréciation personnelle d'une différence entre deux sons. La hauteur du son ne rentre pas seule en ligne de compte. la phase, la distorsion, le timbre, etc. aussi. Un homme évalue globalement ce qu'il entend, tous les facteurs perçus par son système auditif seront pris en compte par le cerveau.
La variabilité intra-individuelle concerne l'aptitude d'un même auditeur de donner toujours la même réponse à un même stimulus. Pour ajouter au jeu, le test ABX nécessite trois écoutes du même « programme ». Se pose le problème du choix du programme (stimule-t-il, amplifie-il les différences attendues ?), de sa durée (fatigue auditive), du moment de la journée, etc, mais aussi des conditions d'application du test. Il est, rappelons le, obligatoirement appliqué de manière croisée (un auditeur écoute successivement les chaînes A, B, et X (je dis bien chaînes complètes et pas le câble) dans l'ordre déterminé par le tirage au sort (il existe des tables de hasard ou des logiciels). Pour être totalement crédible, chaque écoute doit être précédée et suivie d'une période totalement silencieuse (wash out), de quelle durée ? Il faut le déterminer, une seconde, une minute, une heure, un jour ? Décision protocolaire pas si facile.
On voit donc que l'on peut théoriquement en rester à une seule mesure, chez un seul auditeur, mais avec beaucoup de si qu'il faut justifier dès le protocole, pas a postériori, sinon ce serait trop facile de tout justifier pour obtenir la réponse que l'on attend … avec impatience.
Beaucoup trouverons que j'exagère mais si je devais initier une telle étude je me poserais toutes ces questions avant de commencer. On doit remonter l'arbre des décisions et répondre à chaque fois « je fais – je ne fais pas ? ». Finalement le cas d'une différence entre deux câbles secteur est finalement plus complexe qu'entre deux enceintes acoustiques. Plus la différence attendue est faible, plus il y a de contraintes et de bais potentiels. C'est ce que je veux faire comprendre. La plupart des évaluations publiées oublient ces contraintes. Il faut dire que, parfois, des marchés commerciaux entiers sont en cause. Que faire si une étude, réalisée correctement et contrôlée, démontre sans le moindre doute d'un câble secteur à 1500€ n'a aucun avantage par rapport au câble standard compris dans le prix de l'appareil ? Bien sûr, il n'y a pas mort d'homme, ce qui n'est jamais exclu en clinique. On peut probablement accepter quelques accommodements à condition de les justifier. Il est pourtant vrai que les contraintes énoncées existent, j'en ai oublié quelques une, volontairement ou pas. Par exemple, faut-il filtrer et stabiliser la source de courant électrique ?
Ne croyez pas qu'il ne faut rien tenter et s'en tenir aux comptes-rendus « d'écoutes de câbles secteurs » plus ou moins poétiques des journalistes … On peut probablement tenter une réponses à quelques questions d'ordre général.
Mais, comme toujours, les choses ne sont jamais aussi simple qu'on le pense à première vue. Si la procédure d'un test est trop complexe, il est inapplicable en pratique. Si elle est trop simple, le résultat n'a aucune signification. C'est pourquoi la rédaction du protocole mérite réflexion pour en assurer faisabilité et significativité.
Créé le 15 Sep 2017 21:15
