Modérateurs: Modération Forum Haute-Fidélité, Le Bureau de l’Association HCFR • Utilisateurs parcourant ce forum: ALAIN B 33, jean GROS, jeff33770, kevin59, MickeyCam, Nonaud, Taisetsu458 et 152 invités

Discussions sur le matériel Haute-Fidélité

Test en aveugle

Message » 15 Juil 2010 11:24

nb a écrit:...
Je te dis aussi qu'il y a toute sortes de biais, particulièrement matériels, (et aussi d'ordre psychologique, ceux dont tu contestes l'existence, mais pas seulement)
certains vont te dire que deux entrées d'un même ampli que sonnent pas pareil.
que la prise sur laquelle tu le branches n'a pas le même effet que celle d'à côté sur laquelle tu as branché l'autre appareil.
que l'un étant placé à 50 cms de l'autre, ils ne subissent pas les mêmes perturbations.
etc ...
etc ...
etc ...
Les différences sont faibles ? peut être.
Mais celles que tu cherches à mettre en évidence le sont elles moins ?

Bonjour

J'ai oublié hier soir de répondre à ces justes remarques : il était un peu tard (de 14 juillet)

nb, ces biais possibles existent, et ils sont prévus dans leur principe: ce sont des biais possibles de protocole, pas des biais pouvant fausser un ABX si le protocole est respecté.
Ces biais sont théorisés, il font partie des choses à vérifier avant de pouvoir déclarer un résultat de test absolu; c'est vraiment dans la phase de vérification du protocole (avant ou après le test, peu importe).

Dans les faits, si un ABX est réussi, le testeur sait quel est son repère de différence (avec les ABX réussis jusqu'à maintenant en tout cas).
En cas de réussite, il importe de vérifier que les conditions d'expérience n'ont pas conduit à un faux résultat.
Le testeur doit vérifier si les différences persistent, si le repère de différence est là ou pas quelle que soit l'entrée utilisée, en utilisant la même entrée pour les 2 appareils, alternativement. ou en refaisant le test à la mano si on a utilisé le switch et qu'on le soupçonne de biaiser.

Par ailleurs, pour l'heure, on n'arrive pas à différencier à l'oreille des amplis ou des lecteurs assez différents et sans défauts notoires. Si on arrive à un test positif, même si c'est dû à une simple différence de branchement RCA à l'arrière d'un appareil, on aura progressé, en constatant que soit les appareils, soit les sorties d'ampli donnent une différence de rendu !

Exemple:
On n'a pas réussi à entendre de différence d'écoute avec le switch et sans. les différences entre appareils sont extrêmement difficiles à établir;
Si un test ABX d'appareils avec switch réussit, on saura que soit le switch, soit les appareils, soit les 2 produisent une différence de rendu. Si auparavant les appareils n'avaient pas pu être différenciés (au cours de la même séance) on pourra continuer les investigations en considérant qu'une des phases précédentes n'était pas assez précise pour détecter une différence existante.
Ensuite, restera à expérimenter plus profondément pour voir si la différence se situe sur le switch ou sur les appareils.
Semblable procédure a déjà été faite: sur des ABX réussis, des mesures ont ensuite confirmé que les appareils avaient des caractéristiques de signaux de sortie différents. Il a été su quoi mesurer notamment grâce à la différence qui a été entendue.
L'intérêt est qu'on sait que l'oreille a accès à ces différences. Pour le switch, aucune différence n'a pu être mesurée, ni entendue. Ca ne signifie pas qu'il soit parfaitement équivalent sur ses canaux, ça pousse juste la probabilité que la différence soit sur les appareils, et ça oriente l'organisation des tests de vérifications du protocole avant validation définitive.


Si un test réussit, il importe de vérifier qu'aucun biais de protocole ne s'immisce et ne risque d'avoir produit un faux résultat. C'est là que se situe la nécessité de rigueur des ABX, c'est là qu'ils acquièrent leur caractère certain ou pas.
grand x
Pro-Commercant
Pro-Commercant
 
Messages: 7400
Inscription Forum: 28 Juin 2005 8:50
Localisation: Paris 12°
  • offline

Message » 15 Juil 2010 11:38

Tu as donc fait des tests exhaustifs en vérifiant indépendamment et en variant une seule donnée à chaque fois
- que la prise de courant utilisée n'a pas été perçue
- que la position physique des appareils peut être échangée
- que les entrées utilisées sont toutes équivalentes
- que la position physique des personnes dans la pièce ne joue pas
etc etc ...
As tu fait un ABX absolu pour le vérifier ? (je plaisante, je ne sais toujours pas ce que signifie ce terme)
Peut on te rétorquer que selon les règles de l'ABX absolu, l'absence de détection du biais ne permet pas de conclure, et que jusqu'à preuve du contraire, on doit continuer à les considérer possible ? :D

Tu peux faire toi même le tri de tes arguments. Certains sont des biais possibles de protocole, qu'il convient de vérifier soigneusement, d'autres ne changent rien au résultat s'il y en a un (cas de la position physique des personne est indépendante du fait que les appareils sonnent différemment ou non)

Oui, je suis d'accord que les résultats sont à considérer uniquement tant que des biais de protocole (les seuls qui peuvent infirmer un ABX réussi) n'ont pas été reconnus comme pouvant affecter le résultat. Je le redis depuis le début, le respect du protocole est essentiel: la reconnaissance ne doit pouvoir se faire que sur le strict rendu sonore des appareils, signant leur différence réelle de rendu sonore.

Je confirme, l'oreille est bien l'outil, mais pas le but. Et le protocole de déroulement est là pour écarter tous les biais subjectifs et autres variabilités d'audition qui pourraient produire un résultat faux.
La difficulté des tests ABX n'est pas dans l'écartement des biais d'oreille (psycho acoustique, fatigue, performance auditive des testeurs, ...), qui sont de facto écartés par les règles et le déroulement des ABX, mais dans le strict respect du protocole qui ne doit laisser travailler l'oreille que sur les différences de rendu sonore des appareils.
grand x
Pro-Commercant
Pro-Commercant
 
Messages: 7400
Inscription Forum: 28 Juin 2005 8:50
Localisation: Paris 12°
  • offline

+1

Message » 15 Juil 2010 15:02

JACBRU a écrit:Si j'interviens dans cette discussion, ce n'est pas par passion pour l'ABX, au contraire je pense que la passion de certains et la longueur des discussions empêche de parler d'autres facettes passionnantes de de l'évaluation en audio.
Tout d'abord, je vais vous ôter un doute, j'ai absolument compris ce qu'est un test ABX. C'est avant tout une stratégie créée par des statisticiens pour régler un problème concernant la comparaison de la perception (forcément en partie subjective) de deux échantillons sonores, gustatifs, visuels, etc., nous avons officiellement cinq sens qui peuvent être trompés ou perturbés. D'ailleurs la stéréophonie est une mystification de notre audition et de son intégration cérébrale...
Si on mettait en comparaison deux échantillons, A et B, sonores dans le cas qui nous intéresse, la comparaison A versus B ou B versus A, on n'aurait que deux situations. Dans l'absolu (c'est à dire pour la comparaison objective des échantillons), soit A et différent de B soit A est absolument identique à B. Dans les deux cas, que l'on compare A puis B ou B puis A, on compare toujours soit une identité, soit une différence, on ne propose jamais d'option alternative. Dans toute étude dite contrôlée on a toujours un échantillon alternatif de comparaison, même si c'est un placebo. Comment créer un placebo de son ? Autre solution introduire un troisième échantillon C, mais alors, trois groupes de sons dans la comparaison, c'est injouable. L'idée des statisticiens a donc été de créer un échantillon X qui ne serait pas un troisième son mais au hasard le son A ou le son B. Dans les faits on ajoute aux comparaisons A/B ou B/A, deux nouvelles propositions A/A et B/B. Si, dans ces derniers cas, l'auditeur reconnait pratiquement toujours une différence, il y a effectivement a se poser des questions sur sa perception. Bien sûr cela ajoute à la "sensibilité" du test ABX par rapport au simple test AB. Mais si la sensibilité du test est meilleure, il est soumis aux conditions de sa réalisation. On n'empêchera pas un sourd ou un malentendant d'avoir deux attitudes, soit n'entendre aucune différence, jamais, soit, pour masquer son insuffisance, répondre n'importe quoi. Ce n'est qu'un exemple parmi d'autres, le plus évident. Le test ABX absolu, celui qui détecterait par la perception à tout coup la différence ou l'absence de différence existant dans l'absolu au niveau des échantillons A et B, ne peut pas exister !
Excuses moi X, mais, si le test ABX était absolu, on n'évaluerait pas la probabilité qu'il se trompe. Cette probabilité n'aurait pas a être mentionnée, elle serait toujours égale à 0,0000000000000000000........ Or on est obligé d'être moins exigeant en considérant qu'un p<0,5 n'est déjà pas si mal pour être convainquant. Maintenant, pour améliorer cette probabilité sans avoir trop de tests à réaliser chez trop d'auditeurs on peut rendre plus exigeants les critères de sélection des auditeurs, plus précises et plus contraignantes, particulièrement dans le protocole, les conditions de sa réalisation.
Puis-je être plus clair ? Où est la passion dans tout cela ? Simplement la variabilité, la diversité, est une condition non négociable de la vie. Là, le débat peut être aussi philosophique, pas pour le test ABX. Que certains y réfléchissent.


Des enregistrements m'empêchent de prendre le temps de répondre plus longuement, mais j'estime qu'il n'y a pas grand chose a retrancher a cette très bonne approche un peu historique de l'ABX par Jacbru :D .

Igor Kirkwood
Igor Kirkwood
 
Messages: 10344
Inscription Forum: 30 Nov 2007 11:17
Localisation: Briare
  • offline

Message » 15 Juil 2010 15:04

grand x a écrit:tkfu, je t'invite à m'expliquer en quoi l'ABX n'est pas en mesure de donner des résultats absolus sur le matos, avant de parler de "croyances".

Sur un matos identique les résultats de 2 abx réalisés par 2 testeurs A et B peuvent donner 2 succés avec 2 ensembles différents de 15 ou 16 morceaux alors que A sera incapable de "réussir" celui de B et vice versa: les abx réussis sont dépendants des testeurs; si tous nous avions les memes résultats auditifs y aurait plus qu'un seul type de matériel depuis longtemps!

, j'ai dit que les résultats certains et absolus ne concernent que le matos.

Tu refuses ou n'arrive pas à intégrer que le résultat d'un abx est celui d'un couple et meme d'un trio "testeur-matos-ensemble de morceaux tests", dans ton concept d'absolu tu élimines arbitrairement la part variable du trio et tu en déduis que le résultat est absolu, c'est aussi faux que de ne garder que le vélo du vainqueur du tour de France à l'arrivée et de virer le maillot jaune!

C'est différent. Si tu saisis la nuance, tu as mieux compris les ABX absolus.

Si vous voulez introduire, des biais, de la subjectivité elle est introduite de façon inhérente par le testeur, alors ce ne sont plus des ABX absolus ils ne l'ont jamais été, et les conclusions ne sont jamais ni définitives, ni certaines ça c'est vrai 8) .


Difficile à comprendre?
Apparemment, oui.
tkfu
 
Messages: 975
Inscription Forum: 17 Oct 2008 14:05
  • offline

Message » 15 Juil 2010 15:17

tkfu a écrit:
grand x a écrit:tkfu, je t'invite à m'expliquer en quoi l'ABX n'est pas en mesure de donner des résultats absolus sur le matos, avant de parler de "croyances".

Sur un matos identique les résultats de 2 abx réalisés par 2 testeurs A et B peuvent donner 2 succés avec 2 ensembles différents de 15 ou 16 morceaux alors que A sera incapable de "réussir" celui de B et vice versa: les abx réussis sont dépendants des testeurs; si tous nous avions les memes résultats auditifs y aurait plus qu'un seul type de matériel depuis longtemps!

Quelle seront les réponses de ces tests? dans les 2 cas, certification de différences entre les appareils. En quoi ce que tu dis là contredit ce que j'ai dit auparavant et que tu quotes ? où sont les croyances que tu affirmes dénoncer? tu n'en parles même pas !
Et on peut parfaitement avoir les mêmes résultats auditifs, et préférer tel ou tel type de restitution qui rend mieux ou différemment tel ou tel type de musique. Les capacités d'audition et les types de restitution préférées sont pas liées directement et uniquement comme tu sembles le suggérer. Un même audiogramme ne conduit pas à avoir les mêmes aspirations de restitution.


Tu refuses ou n'arrive pas à intégrer que le résultat d'un abx est celui d'un couple et meme d'un trio "testeur-matos-ensemble de morceaux tests", dans ton concept d'absolu tu élimines arbitrairement la part variable du trio et tu en déduis que le résultat est absolu, c'est aussi faux que de ne garder que le vélo du vainqueur du tour de France à l'arrivée et de virer le maillot jaune!

C'est différent. Si tu saisis la nuance, tu as mieux compris les ABX absolus.

Si vous voulez introduire, des biais, de la subjectivité elle est introduite de façon inhérente par le testeur, alors ce ne sont plus des ABX absolus ils ne l'ont jamais été, et les conclusions ne sont jamais ni définitives, ni certaines ça c'est vrai 8) .

Difficile à comprendre?
Apparemment, oui.



Ce que vous ne comprenez pas, c'est que les ABX absolus ne sont pas soumis à la subjectivité: un test ABX (absolu ou pas) ne peut être réussi que parce qu'une différence est réelle, jamais juste parce qu'on est persuadé qu'elle l'est. Pourquoi ne comprenez vous pas ça, ou bien pourquoi ne fournissez vous pas de contre exemple ?
grand x
Pro-Commercant
Pro-Commercant
 
Messages: 7400
Inscription Forum: 28 Juin 2005 8:50
Localisation: Paris 12°
  • offline

Message » 15 Juil 2010 16:04

grand x a écrit:Ce que vous ne comprenez pas, c'est que les ABX absolus ne sont pas soumis à la subjectivité
si à la subjectivité du testeur
: un test ABX (absolu ou pas) ne peut être réussi que parce qu'une différence est réelle
réelle pour le testeur d'où la subjectivité
, jamais juste parce qu'on est persuadé qu'elle l'est
toujours juste parce qu'on est persuadé qu'elle l'est .
Pourquoi ne comprenez vous pas ça, c'est ce qui m'inquiete et me fatigue?
tkfu
 
Messages: 975
Inscription Forum: 17 Oct 2008 14:05
  • offline

Message » 15 Juil 2010 18:08

L'ABX est justement fait pour éliminer un résultat qui serait dû à la subjectivité du testeur. S'il y a faille, merci de la nommer, au lieu de se contenter de la proclamer sans plus d'élément explicatif.
Les biais fantômes sont amusants à proclamer, mais un peu se consistance serait le bienvenu.
Un test valide n'est pas réussi parce qu'un testeur est persuadé, il est réussi parce que les appareils sont (c'est factuel) différents en rendu sonore.
grand x
Pro-Commercant
Pro-Commercant
 
Messages: 7400
Inscription Forum: 28 Juin 2005 8:50
Localisation: Paris 12°
  • offline

Message » 15 Juil 2010 19:46

grand x a écrit:L'ABX est justement fait pour éliminer un résultat qui serait dû à la subjectivité du testeur.

Le résultat est du à la subjectivité ou moyens du testeur, succes ou échec! tu imagines que dés qu'il y a succes, la part du testeur disparait c'est faux et fou!

S'il y a faille, merci de la nommer, au lieu de se contenter de la proclamer sans plus d'élément explicatif encore une fois, tu élimines le facteur humain alors qu'il fait partie intégrante du résultat :o .

Les biais fantômes sont amusants à proclamer, comme les indépendances fantomes ds ton cas, mais un peu se consistance serait le bienvenu je préfère le mot en français "cohérence" mais bien d'accord.

Un test valide n'est pas réussi parce qu'un testeur est persuadé si il est persuadé d'entendre une différence avec le matos considéré, il est réussi peut etre parce que les appareils sont (c'est factuel) différents en rendu sonore pour le testeur.


Si ton abx Absolu existait avec un testeur, le meme matos testé par un autre ou plusieurs autres on n'obtiendrait que des succès avec le memes morceaux de musique tests, c'est pas tout à fait le cas! :-?
tkfu
 
Messages: 975
Inscription Forum: 17 Oct 2008 14:05
  • offline

Message » 15 Juil 2010 20:42

Et alors ?
Dès qu'il y a réussite, le testeur l'a permise. Mais pas par sa subjectivité (hasardeuse par essence)
Rappel: l'échec ne produit pas de résultat certain.
Le test ne peut réussir sans les différences réelles. le testeur ne peut jamais modifier cette réussite. il peut ne pas la permettre (aucune conséquence) et si la réussite est faite, elle ne peut être faite que sur la réalité de la différence. où est l'incohérence, docteur ? où est la faille ? où vient s'immiscer la subjectivité?
Dans la réussite ?
non, la réussite est due au fait impératif qu'une différence réelle existe. Sans ça, pas de réussite possible
Dans l'échec? sûrement pas, l'échec n'est pas pris en compte. A exist' pô !
Où se cachent la faille et la subjectivité du résultat ? vois pas !
grand x
Pro-Commercant
Pro-Commercant
 
Messages: 7400
Inscription Forum: 28 Juin 2005 8:50
Localisation: Paris 12°
  • offline

Message » 15 Juil 2010 21:03

grand x a écrit:Et alors ?
Dès qu'il y a réussite, le testeur l'a permise. Mais pas par sa subjectivité (hasardeuse par essence).

Ah bon !

grand x a écrit:Le test ne peut réussir sans les différences réelles. le testeur ne peut jamais modifier cette réussite. il peut ne pas la permettre (aucune conséquence) et si la réussite est faite, elle ne peut être faite que sur la réalité de la différence. où est l'incohérence, docteur ? où est la faille ? où vient s'immiscer la subjectivité?
Dans la réussite ?
non, la réussite est due au fait impératif qu'une différence réelle existe. Sans ça, pas de réussite possible

Ah bon !

grand x a écrit:Dans l'échec? sûrement pas, l'échec n'est pas pris en compte. A exist' pô !

Ah bon !

grand x a écrit:Où se cachent la faille et la subjectivité du résultat ? vois pas !

Tu les a perdues, inquiétant... Ça fait pourtant un moment que je cherche à t'aider pour les retrouver...
En tous cas je suis heureux d'apprendre que la subjectivité est hasardeuse. Hasard ou Nécessité ? c'est la question primordiale... Dieu ou le Néant, ça fait 60 ans que je me pose la question, on n'est pas arrivé !
J'exagère, si les tests ont été réalisé réellement dans des conditions rigoureuses, que p est bas, on peut considérer que la conclusion peut être considérée exacte. Si le test est positif on doit considérer qu'il y a bien une différence de la perception entre les deux échantillons, si tous les tests sont négatifs avec p faible, on peut accepter qu'aucune différence n'a été perçue entre les deux échantillons.
Mais cela n'indique pas que ces conclusions ne peuvent absolument pas être le fruit du seul hasard ou de la variabilité, ce qui est pareil. D'ailleurs le hasard est seulement a mettre sur le compte de notre incapacité à détecter et connaître toutes les causes d'un événement... L'étude des probabilités nous permet de contourner la difficulté.
Dernière édition par JACBRU le 15 Juil 2010 22:00, édité 1 fois.
JACBRU
 
Messages: 3156
Inscription Forum: 04 Mai 2006 11:52
Localisation: 01300 BELLEY
  • offline

Message » 15 Juil 2010 21:11

Pour Dieu, demande moi:
On se voit demain, y a des trucs qui le chipotent encore sur les ABX. La non existence de résultat, il a aussi un peu de mal. Pour le reste, il est au top ! *
(sauf qu'étant lui même le tout, il a dû admettre, par la force de la logique, que le mal est aussi en lui. A tordu le nez, mais devrait s'en remettre. Il a intérêt, parce que si il faiblit, je prends sa place le temps qu'il se rétablisse. Je vais enfin voir les moines de Ste Madeleine de haut ! :D et les entendre me chanter de fort sympathiques louanges !

*-non, je vais pas en profiter pour faire un ABX sur son existence:
Je pique pas le boulot à Pascal !
grand x
Pro-Commercant
Pro-Commercant
 
Messages: 7400
Inscription Forum: 28 Juin 2005 8:50
Localisation: Paris 12°
  • offline

Message » 15 Juil 2010 21:14

Jacbru, tu n'aurais pas par hasard un exemple de test ABX valide réussi en l'absence d'existence de différence réelle? Je retrouve pas le mien. (En ai-je jamais eu un ?)

Si tu as d'autres contre exemples pour chacun (ou un seul) de tes "ah bon", ca serait aussi fort utile.
grand x
Pro-Commercant
Pro-Commercant
 
Messages: 7400
Inscription Forum: 28 Juin 2005 8:50
Localisation: Paris 12°
  • offline

Message » 15 Juil 2010 22:03

grand x a écrit:... parce que si il faiblit, je prends sa place le temps qu'il se rétablisse...

Ça, j'avais bien compris, depuis longtemps...
JACBRU
 
Messages: 3156
Inscription Forum: 04 Mai 2006 11:52
Localisation: 01300 BELLEY
  • offline

Message » 15 Juil 2010 22:06

Un petit contre exemple?
Rien qu'un petit. Un seul. S'il te plait ! Je pars bientôt, j'aurais bien aimé ça pour la route ... :(
grand x
Pro-Commercant
Pro-Commercant
 
Messages: 7400
Inscription Forum: 28 Juin 2005 8:50
Localisation: Paris 12°
  • offline

Message » 15 Juil 2010 22:16

grand x a écrit:Jacbru, tu n'aurais pas par hasard un exemple de test ABX valide réussi en l'absence d'existence de différence réelle? Je retrouve pas le mien. (En ai-je jamais eu un ?)
Si tu as d'autres contre exemples pour chacun (ou un seul) de tes "ah bon", ca serait aussi fort utile.

A partir du moment où le p a été déterminé, n'importe quel test ABX valide à une probabilité de moins de 5%, au maximum, d'être réussi alors qu'il n'y a pas de différence de perception entre les échantillons A et B. On peut le redire autrement, au plus 5% des tests peuvent être pris en exemple alors qu'ils ont déterminé une différence. Ce n'est pas beaucoup, mais c'est tout de même une éventualité qui n'est pas tout à fait rare, même si toutes les précautions protocolaires ont été prises.

Pour les "Ah bon", c'est seulement parce que je suis fatigué d'user mon PC pour rien.
Par exemple, peux tu définir exactement ce que signifie ce "p" ? En statistique aucune conclusion n'a de valeur sans lui !
JACBRU
 
Messages: 3156
Inscription Forum: 04 Mai 2006 11:52
Localisation: 01300 BELLEY
  • offline


Retourner vers Discussions Générales

 
  • Articles en relation
    Dernier message