Test en aveugle

[Nexus.6]

il n'est pas nécessaire d'identifier la source de la différence. Il suffit juste d'identifier la différence car la question est de savoir si il y en a une, pas si en plus on a la faculté de le repérer précsiemment et de trouver les mots pour en parler.

[tkfu]

Tiens, tu as oublié le fait que les testeurs et les kangourous, par leur pratique, éliminent définitivement le risque de réussite fausse due au hasard.
Et une incertitude de résultat liée au pas de précision d'un appareil par exemple n'est pas le critère qui permet de classer une évaluation la catégorie des évaluations probabilistes, pouvant varier de manière importante au gré des expérimentations.
Ton affirmation me laisse penser que tu n'as pas souvent évalué, comme moi ds l'industrie, les limites de précisions finales des produits qui passent ds une chaine de machines où tout se fait par évaluation probabiliste 8)
Tu ne lis pas et tu ne tiens pas compte de ce qu'on te transmets si ça ne colle pas à tes à-prioris. je cote ds tes propres messages ce qui a le don d'enerver certains, je lis donc ta prose esotériquement sympathique

au fait je t'apprends que toute mesure comporte une incertitude

C'est la nature et la profondeur de tes arguments? oui ils sont ceux des scientifiques, dommage hein.

Au moins, tu ne risques pas le qui-proquo ben si les tiens .


Heureusement, ton opinion (comme la mienne) ne change rien à la nature des tests ABX et de leurs conclusions.

J'arrête là, et sais définitivement à quoi m'en tenir, [color=#00BF00]moi j'ai rarement des opinions définitives sur les humains [/color].
Raouf, je laisse ce rocher là rouler à bas de la colline, tu devenais le Sysiphe de l'abx, et tu peux dire aux Danaïdes qu'elles peuvent aller prendre un peu de repos, elles méritent.

[grand x]

J'avais parlé d'identification de source de différence ?
Pas que je sache, ou bien c'est une erreur de ma part.
Pas nécessaire d'identifier la source (technique) de la différence, on ne se base que sur la perception du rendu. Le reste (la cause), durant la phase ABX, "ne nous regarde pas" à ce stade et n'intervient pas dans le déroulement du test.


D'expérience, la réussite des ABX passe par l'identification d'une différence, d'un point précis qui change franchement de nature d'un appareil à l'autre. Une ressenti de différence sans identification précise et ponctuelle ne permet pas, pour l'heure et à ce qu'ont montré les ABX kangourous, la réussite d'un test ABX. Mais on reste ouverts à de telles possibilités, notamment avec des tests dans la durée, tels que justement et précisément décrits par Haskil il me semble il y a quelques pages (pas encore lues, juste ponctuellement survolées).

Dans ce cadre (constaté, mais non fermé), pour parler des points de différence détectés pour réussir un test, pas de souci, on arrive toujours à communiquer une différence repérée, même de manière gauche et imparfaite. Le message arrive toujours à passer.

[corsario]

salut tout le monde

si ça peut aider :

- quelques précisions de vocabulaire : il me semble que Grand X fait une confusion sur l'emploi du terme probabiliste. Probabiliste n'est pas une insulte
(tandis que tkfu joue sur les mots en prétendant qu'une proba de 0.0002 c'est quasi pareil qu'une proba de 0.2, le coquin ).
Grand X confond probabiliste et aléatoire (aléatoire sous entendant avec une proba de l'ordre de 0.5). Probabiliste veut juste dire que l'on a utilisé un calcul de probabilité. Après si la probabilité que le test ait été réussi par hasard est de 0.0000001 %, c'est toujours probabiliste mais assez peu aléatoire. Et là c'est tkfu qui veut faire croire que c'est encore aléatoire.

- d'autre part ce qui chagrine (à tort) expertdoc, tkfu encore et les autres (si j'ai bien compris) c'est que l'on puisse arriver avec un instrument humain (subjectif, fatigué, multimodal, tout ça) à un résultat avec une certitude de 99.98% (à ce niveau là même si on peut dire une probabilité de 0.9998, je préfère dire une certitude de 99.98% mais ça ne change rien au fond : ce qui est important c'est le chiffre : p=0.9998). Et pour ça l'astuce consiste tout bêtement à répéter le test : on peut avoir une bonne réponse une fois par chance, deux fois aussi, mais 12 fois de suite, là ce n'est plus possible - enfin si, mais avec une proba de p=0.0002. Ce veut donc dire que l'instrument subjectif, humain, biaisé, multimodal et idéologique qu'est l'homme, son cerveau et son oreille a réussi 12 fois de suite à différencier un ampli par rapport à un autre (et on sait d'autre part qu'il n'avait qu'une proba de 0.0002 de le faire au hasard). C'est fort ça non ? Transformer un être humain imparfait et subjectif en instrument de discernement hyper fiable (quand il réussi, et c'est là que le bât blesse).

Et à ce niveau là de probabilité (de certitude), il n'y a plus de discussion : on a en France deux fois plus de chance de mourir accidentellement dans une année (proba ~ 0.0004) que d'avoir 12 succès de suite dans un test ABX (proba ~ 0.0002). Et pourtant on prend des décisions pour l'année qui vient, on fait comme si on n'allait pas mourir : on fait comme si une proba de 99.96 % était une certitude. Donc on peut aussi tenir pour acquis que si quelqu'un a réussi à identifier en aveugle correctement 12 fois de suite l'ampli qu'il écoutait (probabilité de 99.98 % que les deux amplis soient différents, et proba de 0.02 % que le testeur ait réussi 12 fois par hasard), à tenir pour acquis donc que le son des amplis est différent.

Donc sur ce point tout le monde a raison et tout le monde a tort, voilà : c'est probabiliste mais avec une probabilité tellement faible qu'on est plus près de la certitude que de l'aléatoire.

Autrement dit : si le résultat d'un test ABX est certes probabiliste, mais avec une probabilité de 99.98 % (ou plus, il suffit de faire 20 succès de suite, 30 succès de suite pour augmenter la probabilité, et là on n'arrive même plus à trouver d'exemple dans la vie courante pour illustrer ce que représenterait de telles probabilités), alors quel est le sens à attribuer au terme probabiliste ?

Au delà des mots, le mieux est de s'en tenir aux faits :

Par exemple dire : "Untel a réussi à identifier en double aveugle ABX 12 fois sur 12 l'ampli Machin et l'ampli Truc. Il avait une probabilité de 0.02 % de réussir ce test par hasard, soit deux fois moins que de mourir par accident dans l'année qui vient". Tirez-en les conclusions que vous voulez, mais si vous pensez que ce test n'est pas valable parce qu'il y a une probabilité non nulle que Untel ait réussi par chance, alors dépêchez-vous d'écouter de la musique sur votre chaîne hifi parce qu'il y a encore plus de chance que vous mouriez accidentellement cette année.

en résumé : évidemment l'être humain et son oreille est subjectif. Mais peu importe : si un être humain réussi 20 fois de suite une identification ABX en aveugle, alors on peut dire qu'il y a 99.9999 % de chance que les deux appareils identifiés soient différents au sens de l'oreille de cet homme. Ca ce n'est pas contestable.

Ensuite on peut très largement dire qu'il est certain que ces appareils soient différents pour les oreilles de cet homme (on assimile 99.9999 % à 100 %, voir au dessus pour une discussion) et ensuite on peut dire que si cet homme a pu les différencier alors je peut raisonnablement dire que moi aussi, dans certaines circonstances, sur certains morceaux, je pourrai entendre une différence et que donc il y a un intérêt à ce que je m'intéresse à comparer ces deux amplis.

Le problème évidemment est qu'il n'y a pas de test ABX réussi pour des platines CD ou des amplis à transistor. Bon. Mais ça c'est une autre question. Et c'est d'ailleurs une question beaucoup plus intéressante que les objections de principes ressassées indéfiniment par ceux que je vais appeler gentiment les poètes.


C'est marrant, quelque part j'ai l'impression d'avoir déjà écrit tout ça plusieurs fois... (et pas que moi d'ailleurs).

[syber]

C'est marrant, quelque part j'ai l'impression d'avoir déjà écrit tout ça plusieurs fois... (et pas que moi d'ailleurs).

Quelle est selon toi la probabilité que ton post soit lu, soit compris et ait une influence sur le cours du topic ?




Syber (aquaboniste de façade seulement )




PS : à la rentrée, nous fêterons les deux ans du premier atelier Kangourous !!

... deux ans

[tkfu]

salut tout le monde

si ça peut aider : ben non , ça complique vachement, surtout qd tu déformes mes propos


(tandis que tkfu joue sur les mots en prétendant qu'une proba de 0.0002 c'est quasi pareil qu'une proba de 0.2, le coquin ).JE N AI JAMAIS DIT CA
Grand X confond probabiliste et aléatoire (aléatoire sous entendant avec une proba de l'ordre de 0.5) GrandX est révulsé par le terme probabiliste qui va à l'encontre de sa notion d'absolu. Probabiliste veut juste dire que l'on a utilisé un calcul de probabilité. Après si la probabilité que le test ait été réussi par hasard est de 0.0000001 %, c'est toujours probabiliste mais assez peu aléatoire c'est pas parce que la proba est faible que c'est pas aléatoire. Et là c'est tkfu qui veut faire croire que c'est encore aléatoire je n'ai pas à faire croire à l'aléatoire, je ne parle que de méthode probabiliste .

l'abx est alétoire qd le choix de reconnaissance est fait au hasard, en cas d'hésitation, si tout est reconnu avec certitude tu réussis ou tu te plantes sans aléas donc c'est toi qui fais que l'abx est ALEATOIRE ou pas

- d'autre part ce qui chagrine (à tort) expertdoc, tkfu encore et les autres (si j'ai bien compris non t'as pas compris, c'est le résultat d'abx réussi dit"absolu" par grandX qui me dérange, pour le reste, je soutiens depuis le début que l"abx est une méthode PROBABILISTE et ça ne me dérange EN RIEN) c'est que l'on puisse arriver avec un instrument humain (subjectif, fatigué, multimodal, tout ça) à un résultat avec une certitude de 99.98% (à ce niveau là même si on peut dire une probabilité de 0.9998, je préfère dire une certitude de 99.98% mais ça ne change rien au fond : ce qui est important c'est le chiffre : p=0.9998).

. Ce veut donc dire que l'instrument subjectif, humain, biaisé, multimodal et idéologique qu'est l'homme, son cerveau et son oreille a réussi 12 fois de suite à différencier un ampli par rapport à un autre (et on sait d'autre part qu'il n'avait qu'une proba de 0.0002 de le faire au hasard). C'est fort ça non? c'est pour ça que c'est rare Transformer un être humain imparfait et subjectif en instrument de discernement hyper fiable ça se saurait , y reste plus qu'à appliquer l'abx miracle aux choix fondamentaux du conjoint , de l'appart, du patron de la bagnole (crash test) etc(quand il réussi, et c'est là que le bât blesse ,non les réussites d'abx me font plutot plaisir, dommage qu'elles soient si rares).




C'est marrant, quelque part j'ai l'impression d'avoir déjà écrit tout ça plusieurs fois... (et pas que moi d'ailleurs ouais moi aussi).

[corsario]

non t'as pas compris, c'est le résultat d'abx réussi dit"absolu" par grandX qui me dérange, pour le reste, je soutiens depuis le début que l"abx est une méthode PROBABILISTE et ça ne me dérange EN RIEN)

C'est tout ??!!

Ben c'est bien ce qui me semblait : tu joues sur les mots et tu enc... les mouches pour rien alors.

Grand X dit (par exemple) : "un ABX réussi n'a que 0.002 % de chance d'avoir été réussi au hasard. On peut considérer ce résultat (ABX réussi, amplis différents) comme certain". Et toi tu réponds : "oui, mais quand même, il ne faut pas oublier qu'il y a 0.002 % de chance que ça soit juste le hasard, ce n'est pas une certitude absolue, c'est quand même très probabiliste comme approche les tests ABX, carrément aléatoire même".

Super comme remarque

Mais comment nuances-tu deux expériences : l'une qui est réussie avec une probabilité que ce soit par hasard de 20 % et l'autre que ce soit par hasard à 0.002 % ? Dans les deux cas tu dis "ouais, tout ça c'est probabiliste, laissez tomber, ça veut rien dire..." ?
(c'est pour ça que j'ai écris que tu sous-entendais qu'une proba de 0.0002 était quasi pareil qu'une proba de 0.2. Tu oublies volontairement la signification des chiffres pour avoir le seul plaisir de contredire GrandX et lui dire : "oh mais attends, c'est probabiliste, c'est aléatoire", en sous entendant : "ça ne veut rien dire".)

OK, dans l'absolu (justement), c'est exact : c'est probabiliste, et donc ce n'est pas absolu. Mais à ce moment-là, RIEN n'est absolu. Même l'écran sur lequel tu lis ces mots à une probabilité (relativement faible j'en convient) de disparaître purement et simplement sous son propre poids, pfuit... Donc ça va quoi. Si c'est pour encombrer ce sujet, déjà passablement encombré avec des sophismes, c'est pas la peine. Ou alors c'est pour le plaisir de hurler avec les loups qui ne supportent pas que l'on dise que l'on peut faire quelque chose de solide avec l'oreille humaine et quelques extraits de musique.

Donc je vais dire, pour réconcilier GrandX et tkfu qu'un test ABX réussi (si le protocole est bon, le nombre de répétition suffisant, etc...) est une PREUVE EXTREMEMENT SOLIDE que les deux appareils testés sonnent différemment (et après un test ABX réussi, si quelqu'un veut montrer qu'en fait les appareils ont le même son, il a intérêt d'avoir de très très bons arguments, surtout si le succès est réitéré)

OK, c'est bon maintenant ? On peut passer à autre chose ?

Transformer un être humain imparfait et subjectif en instrument de discernement hyper fiable ça se saurait , y reste plus qu'à appliquer l'abx miracle aux choix fondamentaux du conjoint , de l'appart, du patron de la bagnole (crash test)

T'es c.. ou tu le fais exprès ? Un test ABX permet de dire si deux choses sont différentes (discerner) en se basant sur un critère ne révélant pas a priori l'identité des objets ou personnes testées (sinon c'est trop facile). Ca ne permet pas de choisir !! C'est n'importe quoi. Là encore tu parles pour parler et créer artificiellement un débat (sans intérêt en plus). C'est vain et fatiguant.

[grand x]

A toi le rocher, Corsario.


Merci pour la relève, moi je commençais à fatiguer.
Mais bon, j'ai bien peur que la probabilité soit très forte que la vocation de ce rocher soit de rester au fond de la vallée, ou du moins qu'il soit vain d'essayer de l'amener à une hauteur différente.

Je partage en tous points les éléments que tu développes, et les corrections que tu as appliquées à mes propos.
Il me semble (mais je peux me tromper) que c'est justement, comme tu le soulignes, le fait de pouvoir établir des éléments quasi certains avec les oreilles qui chagrine tkfu, et la volonté de qualifier la méthode de probabiliste, sans nuances entre des risques de hasard extrêmement larges, n'est qu'une tentative de discréditer toute possibilité de qualifier le coté quasi certain des résultats de ces expériences.
J'ai expliqué à plusieurs reprises que dans les faits, la limite hasard était éliminable avec quasi certitude; en réitérant les réussites d'abord, puis encore plus en décrivant précisément le lieu et la nature des différences constatées. tkfu n'a pas pris la peine de considérer, ne serait-ce que pour le contester, ce fait essentiel qui met à mal son opinion.

[grand x]

Ce que je retiens des propos de Corsario, et que je déduis pour les ABX, c'est que les ABX sont une méthode d'évaluation (d'expertise même) dont les résultats (avec les tests réussis donc) sont fiables à 99,98% (sous réserve de respect du protocole, comme pour toute mesure ou expertise). Pour les chagrins, il est souvent facilement possible d'augmenter encore cette fiabilité.
Pour les tests non réussis, il n'y a pas de conclusion à tirer, parce que les résultats des tests non réussis ne sont pas fiables, à tel point qu'on est même dans l'impossibilité totale de quantifier ce manque de fiabilité.

"Transformer un être humain imparfait et subjectif en instrument de discernement hyper fiable" est justement la gageure que permettent les tests ABX, et ça se sait un peu, heureusement.
C'est, analogiquement, un procédé similaire (qui ne veut pas dire identique) à celui de la double pesée, ou comment réussir à faire une mesure extrêmement précise avec une balance non étalonnée. Apparemment contradictoire dans les mots, mais pleinement effectif dans la réalité.
Plusieurs intervenants ont essayé de railler la "certitude" des ABX, car basée sur l'outil humain, par nature parfois imprécis et souvent changeant, et de plus soumis à facteurs psycho-acoustiques potentiellement hautement perturbants. La contradiction apparente n'est là encore que dans les mots, pas dans les faits. Les méthodes ont été trouvées pour déjouer ces contradictions apparentes, pour certains types d'évaluations. Il reste à pouvoir les développer, pour augmenter les capacités d'expertise et de discrimination, et les rendre si possible plus efficaces pour les expertises d'appareils et de systèmes d'écoutes.

[Robert64]

... Un test ABX permet de dire si deux choses sont différentes (discerner)...

Juste un petit détail mais qui peut avoir son importance : je préfèrerais la formulation : "dire si deux choses sont discernables" Pourquoi ? Simplement par ce que la notion d'appareils identiques est tout à fait théorique et est à manier avec précautions . Sur des appareils fabriqués en série , tous les paramètres en sortie sont l'objet d'une distribution statistique , souvent une gaussienne et on vérifie seulement qu'ils sont à l'intérieur de la fourchette de la spec , qui indique des min et des max comme critère d'acceptation. Tout les électroniciens ,compte tenu des dispersions des composants ,savent qu'il est impossible de réaliser des appareils strictement identiques. D'autant plus difficilement qu'on sait faire maintenant des mesures très fines.
Donc la question n'est à mon sens pas "les appareils sonnent-ils pareil ou pas? " ,ce qui appelle une réponse binaire mais "les inévitables différences sont elles audibles ? par qui ? et dans quelles conditions ? " , ce qui est nettement plus nuancé .

[grand x]

Vi, Corsario a un peu simplifié l'affirmation.
Les ABX traitent effectivement des différences accessibles potentiellement à l'oreille, car comme tu le précises, et comme l'avait indiqué nb à plusieurs reprises, les appareils, même de même série, sont forcément différents, pour les raisons que tu rappelles.
La question est donc bien: sont-ils différentiables à l'écoute (sans que ce soit nécessairement le cas pour tous les auditeurs), ces différentes sont-elles audibles?
Les ABX sont actuellement loin d'être en mesure de différentier des appareils de même série, on a déjà tellement de mal avec des appareils fort différents...
En écoutes normales, les différenciations entre appareils (différences entre gammes d'une même marque, et différences entre appareils de même gamme, mais de technologie différente) semblent plus accessibles, mais toujours sujettes à doutes (même de la part des testeurs eux-mêmes) et/ou à contestations, en l'absence de tests ABX réussis.

[grand x]

et un point intéressant que ce que tu as dit soulève:
le contrôle final des appareils est-il un contrôle électrique, ou un contrôle acoustique ?
Je m'explique:
-une chose est de mesurer un taux de distorsion, une différence de valeur électrique de sortie avec un lecteur ou un ampli directement relié par sa sortie à un appareil de mesure,
-une autre chose est de mesurer la différence acoustique produite et mesurée acoustiquement (analyse des courbes de réponse acoustique, divers critères impactants directement sur le rendu sonore).
Car j'imagine que certaines variabilités électriques des appareils (lecteur, ampli) ne se retrouvent pas nécessairement dans le rendu sonore des appareils en régime normal.
Or, c'est uniquement ces résultats sonores qui sont accessibles par les ABX.
D'ailleurs, il serait souvent plus profitable et efficace de procéder aux mesures sonores. Il me semble que ça a été fait avec succès pour valider des différences de réponses sonores entre 2 cables, faudrait que je retrouve le topic (sur un autre forum) pour en voir la validité/l'intérêt.
Il est envisageable de penser que des mesures acoustiques pourraient donner certains types de résultats, sachant par ailleurs que certains faits multicritères pourraient avoir du mal à être mesurés (mesures en dessous des capacités de la perception humaine, ou pas de mesures sur certains critères, notamment en régime musical comlexe ?)

[expertdoc]

- d'autre part ce qui chagrine (à tort) expertdoc, tkfu encore et les autres (si j'ai bien compris) c'est que ............

Pour ce qui concerne expertdoc je te confirme que tu n'as pas compris car après en avoir discuté avec lui, il n'est pas chagriné, pas du tout même, il fût un temps agacé mais il reste au mieux amusé de temps à autres pour des raisons tenant plus aux intervenants qu'au sujet, ce qui rend la lecture de cette purge (mais ce n'est que mon humble avis) finalement possible.

Quant au fait que cet amusement soit à tort je te laisse évidemment à ton appréciation subjective.

[Nexus.6]

et un point intéressant que ce que tu as dit soulève:
le contrôle final des appareils est-il un contrôle électrique, ou un contrôle acoustique ?

Le controle est forcément électrique et vérifie des paramètres non accessibles à l'oreille.

En général, une méthode de conception acceptée est la suivante :
- étude théorique de l'appareil (basée sur existant, expérience, schématèque...)
- réalisation prototype
- écoute et critique
- modification éventuelles d'après écoute (dans ce cas on refait une boucle à l'étape ci-dessus)
- réalisation appareil définitif
- caractérization d'une série d'appareil définitif (mesure de paramètres électriques de l'appareil fini et de sous ensembles, un appareil est composé souvent de plusieurs cartes et il faut les tester avant de les assembler dans l'appareil, elles peuvent même être réalisées dans des usines différentes)
- d'après les données de caratérisation, definition des limites acceptables en production pour avoir un compromis rendement.qualité acceptable (très tributaire de la politique qualité de la boite)
- test de toute la prod avec ces limites définies.

Il peut arriver que certaines anomalies électriques non décellables à l'oreille puisse passer (selon la politique de la boite), mais comme cela représente une dispersion anormale, un manque de fiabilité pourrait en découler et cela ne devrait pas passer.

Tester une production à l'oreille, c'est pas faisable pour les productions en série. Qu'est ce qui garantie qu'un appareil "mauvais" va pas passer? Et comment déterminer l'appareil mauvais? Celui que Ji Ling Wang n'a pas voulu laisser passer sur la chaine en chine? Pourquoi pas, mais au changement d'équipe, cela devient quoi?

un test à l'oreille, c'est pour moi un test "fonctionnel" et cela arrive forcément en toute fin quand la plupart des ddéfauts ont déjà été éliminé par des test autres. Pourquoi essayer d'ecouter un appareil avec un défaut électrique? pour voir s'il est pas meilleur?

[grand x]

Ca correspond à ce que je connais des fabrications d'électroniques. Bien peu de fabricants d'électroniques ont des chambres sourdes, plus réservées (et encore, trop rarement) aux fabricants d'enceintes.
Du coup, c'est aussi une piste pour tenter de déceler des différences d'appareils accessibles à l'écoute, sur certains critères en tout cas (pas tous, je le crains).