Groupe de travail "Tests d'écoute en aveugle"

[Pio2001]

Voilà ce que je pense faire.

La condition de succès sera "un auditeur au moins obtient un score supérieur à r bonnes réponses pour les S sessions".

Pourquoi ne pas tout simplement calculer la probabilité associée à l'ensemble des bonnes réponses, ce qui premattrait de faire énormément baisser le nombre d'essais nécessaires à la réussite ?
Pour deux raisons : d'abord, l'influence entre auditeurs. Même non verbale. Par exemple, un auditeur peut soupirer ou regarder les mouches lorsque le son l'ennuie. Ou soudainement se concentrer (redressement de la posture, souffle retenu, tête tournée vers le milieu des enceintes...) lorsque vient le câble qu'il préfère. Or avec six auditeurs, une telle influence peut totalement ruiner les statistiques, car le succès d'un auditeur seul, pour un nombre d'écoutes donné, est de nombreux ordres de grandeur plus faible que le succès de tout le groupe.
Tandis qu'avec la condition choisie, s'il y a un succès, c'est qu'un auditeur au moins l'a entendu.

On pourrait contourner ce problème en faisant passer les auditeurs un par un. Ce qui reste envisageable, car en combinant les réponses de tout le monde, chacun n'aura que peu d'écoutes à faire. Seulement un autre obstacle peut venir ruiner le test : c'est le cas où certains auditeurs entendent, et pas les autres. Le succès au niveau du groupe sera alors nul. Extraire les succès individuels de façon statistiquement rigoureuse serait alors intordable, dans la mesure où la manière de rechercher ces résultats est conditionnée par le résultat du groupe, et ce conditionnement agit fortement sur le résultat statistique final p. Il faudrait donc construire un modèle mathématique décrivant ce conditionnement. Là je jette l'éponge.

En considérant comme succès la présence d'un succès individuel au moins, on permet aux audiophiles entraînés de venir faire leurs preuves. La validité de leur écoute n'est pas remise en cause par l'inéxpérience des autres, choses inévitable dans une analyse statistique simple.

En général, on contourne ce problème en effectuant un filtrage préalable des meilleurs auditeurs dans des sessions éliminatoires. Le problème, c'est si jamais personne n'obtient le moindre résultat positif ! On retombera dans le cas des tests précédemment menés : aucune conclusion à en tirer sur l'audibilité ou non du son d'un câble. Et répeter les épreuves éliminatoires ne servira pas à grand chose, car cela fera baisser la pertinence du choix des auditeurs.
Je souhaite, et je pense qu'il est nécessaire, de procéder à un entraînement aux tests en aveugle. Ce que j'appelle la "phase 2". Or cela peut se révéler long, voire même ne pas pouvoir s'achever avant la fin de la demi journée.
D'autre part, je me méfie de certains facteurs, comme le "stress psychologique", souvent invoqué pour expliquer l'échec, qui peut survenir dès le passage de l'entrainement au test véritable. C'est pourquoi même si un filtrage des auditeurs était réalisé, je préfère garder une porte de sortie qui garantit des résultats fiables, même si la performance de certains candidats s'effondre lors du test final.

Le calcul n'est pas très compliqué. On sait pour chaque auditeur calculer la probabilité associée à chaque score, donc la probabilité pour qu'il échoue. Si les réponses sont indépendantes, on élève cette probabilité à la puissance N pour connaître la probabilité que tout le monde échoue. Le succès d'une personne au moins est l'évenement complémentaire.
Reste à étudier l'effet provoqué par les influences possibles entre auditeurs, mais j'ai bon espoir que cela n'affecte pas beaucoup le résultat, contrairement au cas de l'analyse globale. Tout simplement parce que pour que de bons résultats apparaissent, on peut raisonablement supposer qu'il faille qu'un bon résultat existe déjà.

[Emmanuel Piat]

>PS a priori on se donnera rendez-vous à 14 heures. Ca ira pour tout le monde ?

ok pour moi. Par contre, je serai obligé de partir vers 17h car il faut que je récupère ma femme et mes enfants chez les grands parents puis qu'on rentre sur Besançon ...

@+
Emmanuel

[Pio2001]

Il y a trois effets possibles pour l'influence entre auditeurs. Cela peut faire augmenter la probabilité de succès de l'auditeur influencé, la faire baisser, ou ne pas la changer.
Si l'auditeur influencédonne statistiquement plus de bonnes ou de mauvaises réponses, cela signifie que la personne qui l'influence est sensible au son du câble. Donc que l'hypothèse testée est positive. On ne peut donc pas obtenir de faux succès dans ce cas.
Si cela ne la change pas, le seul effet que cela peut avoir est de diminuer la variabilité des réponses. Au lieu d'avoir un ensemble de réponses indépendantes, on a un ensemble de groupes de réponses indépendants : l'ensemble des réponses à chaque session. Dans le pire cas d'influence, tout le monde répond la même chose. On n'a que S réponses indépendantes au lieu de SxN.
La probabilité de succès par hasard dans ce cas est celle pour un auditeur de trouver juste. Elle reste inférieure à la probabilité pour qu'une personne au moins trouve juste dans le groupe. Et même très inférieure si on est assez nombreux. On peut donc dire que s'il y a une influence, la pertinence du résultat, s'il est positif, est augmentée !
Bien sûr ce n'est pas du tout le cas dans une analyse globale (nombre total de bonnes réponses sur le nombre total de réponses), puisque cela fait chuter le nombre total de réponses réelles.

Le choix du critère de succès "un auditeur au moins réussit le test avec une probabilité de succès infériueure à pcible" permet donc bien de s'affranchir des problèmes liés à l'influence entre auditeurs.

[Pio2001]

Patrice manipulera les câbles. Il préfère manipuler le matériel lui-même (lecteur CD / préamp), au cas où il y ait un pépin. Si j'organise, il reste 5 auditeurs au maximum.

Avec 19 écoutes en phase 3, on aura une probabilité de faux succès inférieure à un cent millième pour un sans faute, et qui restera inférieure à un centième s'il y a deux fautes (17 bonnes réponses sur 19).

[Pio2001]

Donc phase 1, on écoute tranquillement.
Phase 2, on cherche 7 bonnes réponses de suite en simple aveugle.
Phase 3, on fait 19 écoutes, tant qu'il n'y a pas d'erreur. Dès que tout le monde a fait 3 erreurs au moins, le test se solde par un èchec.

[usa_satriani]

C'est possible ça 7 bonnes réponses de suite ?
Honnetement si tu as 7 bonnes réponses de suite, pas la peine de continuer, il y a bien une différence.

[Pio2001]

usa_satriani, imagine que les câbles n'aient aucun son. Mais, persuadés du contraire, les auditeurs écoutent et écoutent encore. Imaginons que leur opinâtreté soit telle qu'ils n'abandonnent et ne quitte l'auditorium qu'après 50 essais.

Ils sont 5, donc en tout ils auront donné 250 réponses.
Pour une réponse donnée, si les câbles n'ont pas de son, mais que les auditeurs répondent quand même, une fois sur deux, la réponse sera juste. Une fois sur 4, la suivante sera juste aussi. Une fois sur 8 les deux suivantes... une fois sur 128 les 6 suivantes.

Donc, 7 bonnes réponses de suite, on peut s'attendre à ce que cela se produise 2 fois sans que personne n'écoute quoi que ce soit ! Si on tire à pile ou face, si on s'y met à 5, on entamera une série de 7 bonnes réponses tous les 26 essais en moyenne !

Donc cela ne prouvera strictement rien. On pourrait même dire que si quelqu'un donne 7 bonnes réponses de suite après 26 tentatives plus mitigées, on sera exactement dans le cas où l'auditeur ne prète strictement aucune attention au câble !

[usa_satriani]

Oui, je pensais pas tu faisait ça comme ça.

Je veux dire si t'arrives et quelqu'un te sors 7 bonnes réponses à la suite d'entrée, respect pour lui

[tetetron]

je dois avouer que je suis impressioné par le sérieux des efforts mis en oeuvre ici, g invité plusieur vendeurs de différentes boutique désireux de me vendre du cable a venir faire une petite lescture de ce topic... je ne sais pas si ça leur plaira, en tout cas félicitation!!!

[Pio2001]

Merci...
Le compte-rendu est ici : http://www.homecinema-fr.com/forum/view ... t=29781210

Et demain, il y a un test à Toulouse.

[Pio2001]

Un lien intéressant : http://www.dself.dsl.pipex.com/ampins/p ... bjectv.htm

On y découvre notamment le test de Baxandall, réalisé en 1977, qui consiste à atténuer le signal de sortie d'un ampli pour le soustraire au signal d'entrée, puis à amplifier la différence. Après règlage du gain et des roll-offs, la différence est inaudible ! Le signal de sortie est identique au signal d'entrée au gain près, à condition que l'amplificateur soit conçu correctement, afin d'avoir une distortion minimale. Ce qu'il est facile d'obtenir pour pas cher.

L'article cite en outre des exemples d'amplificateurs haut de gamme souffrant de distortion élevée : Préampli Counterpoint SA7, Burmester 838/846, Audio Research M100-2 monoblocs...

Ce qui est intéressant, c'est le principe du test, qui, contrairement à ce que j'ai toujours affirmé, parvient à démontrer, dans le cas d'un ampli, qu'un appareil a un son parfait !

[Pio2001]

J'ai compilé les résultats des tests en aveugle de Matrix-Hifi. Ce sont des tests découte dont le protocole impose 9 bonnes réponses sur 10 à des questions à deux choix possibles pour une réussite. Soit p <.011

Parmi 35 tests, 4 ont donné un resultat positif. Ce qui dépasse la moyenne statistique, qui devrait être en desous de 1 (en moyenne un test réussi sur 100).

Voici les éléments comparés. J'ai ajouté OK si certains auditeurs ont su obtenir 9 ou 10 bonnes réponses lors de l'identification des source en aveugle, et NOK si aucune différence n'a pu être mise en évidence.

Malheureusement, la parole n'est pas donnée aux audiophiles, de sorte que la raison des échecs n'est pas discutée.

Préampli Audion Premier 2.0 + Ampli Audion Silver Night 300B PSE (à lampes) / Ampli numérique Flying Mole DAD M100 Pro HT : OK
Préampli Meridian G02 + Ampli Acoustic Reality eAR 202 / Intégré NAD S300 : NOK
Lecteur CD Cambridge CD6 / Lecteur CD Cambridge CD6 + Horloge Lclock XO2 : NOK
Discman Sony E-775 / DAC Audionote DAC 3 + Drive Sony SACD XA3000ES : OK
Préampli Halcro DM10 + ampli Mark Levinson 333 / Intégré Denon PMA860 : NOK
Préampli Mark Levinson Nº 38S + ampli Mark Levinson Nº 333 / Intégré Carver PXM 450 pro : NOK
Lecteur CD Meridian 588 + Préampli Mark Levinson Nº 38S + ampli Mark Levinson Nº 333 + 3000 euros de câbles / Discman Sony E-775 + 9 mètres de câbles standard rouge et noir + Intégré Denon PMA860. Dans un premier temps, le discman a été jugé meilleur. Les mesures ont montré qu'il jouait 0.5 dB plus fort. Après ajustement des niveaux, NOK
Préampli Mark Levinson Nº 38S + ampli Mark Levinson Nº 333 / Intégré JML à lampes : NOK
Préampli Mark Levinson Nº 38S + ampli Mark Levinson Nº 333 / Intégré Yamaha P7000S : NOK
Lecteur CD Sony SACD XA3000ES / Lecteur CD Cambridge Audio CD6 : NOK
Lecteur CD Sony SACD XA3000ES / Discman Sony E-775 : NOK
Préampli YBA 2 DELTA (avec alim spéciale) + Ampli YBA 2 delta HCDT / Denon PMA 860 : NOK
Préampli Mark Levinson Nº 38S + ampli Mark Levinson Nº 333 / Intégré audio-vidéo Yamaha RX-V 540 : NOK
Préampli Mark Levinson Nº 38S + ampli Mark Levinson Nº 333 / Intégré NAD C-370 : NOK
Préampli Mark Levinson Nº 38S + ampli Mark Levinson Nº 333 / Intégré Ultra (19 Watts / 8 Ohms) : OK
Ampli numérique Flying Mole DAD M100 Pro HT / Intégré NAD S300 : NOK
Lecteur de DVD Pioneer DV-656 + Intégré audio-vidéo Yamaha DSP-E800, liaison analogique contre liaison numérique : OK
Lecteur de DVD Pioneer DV-515 / Lecteur de DVD Pioneer DV-515 + DAC DAC-1 : NOK
Câbles de modulation :
1- José A. Antena contra MIT Mi-330 PLUS Terminator NOK
2- José A. CAT5 contra MIT Mi-330 PLUS Terminator NOK
3- José A. Antena contra Audioquest Emerald NOK
4- José A. CAT5 contra Audioquest Emerald NOK
5- MIT Mi-330 PLUS Terminator contra Audioquest Emerald NOK
6- MIT Mi-330 PLUS Terminator contra Rojo / negro Serie Sulfatado NOK
7- Audioquest Emerald contra Rojo / negro Serie Sulfatado NOK
8- Puresonic Balanced/Double Shielded High Performance Audio Silver Plated OFHCC contra Rojo/negro NOK
9- Puresonic Balanced/Double Shielded High Performance Audio Silver Plated OFHCC contra MIT Mi-330 PLUS NOK
10- Puresonic Balanced/Double Shielded High Performance Audio Silver Plated OFHCC contra Jose A. Antena NOK
Lecteur CD FORSELL AIR REFERENCE (Air Bearing) + AUDIONOTE DAC-4 (15,000 €) / Lecteur TOKEN CD-50 (900 €) : NOK, malgré un rapport signal/bruit en faveur du Token.
Graveur Pioneer PDR 609 / Graveur Pioneer PDR 609 + MSB Technology Link DAC : NOK
Lecteur de DVD Grunkel DVG-32 S (59 €) / Lecteur de CD CEC TL 51 Z MkII (2300 €) : NOK
Lecteur multiformat PIONEER DV-656-A / Lecteur de CD Denon DND950 : NOK
CD original contre CD copié : NOK
Lecteur CD Octopussy / Lecteur CD Micromega Stage 6 /Lecteur CD Linn Ikemi, écoutes immédiates : NOK, écoutes prolongées : NOK
CEC TL 51Z MKII version Ken Ishiwata / Discman Sony D-E775 : NOK

[usa_satriani]

Est-ce que ces tests sont individuels ou est-ce que c'est un groupe ?

D'un côté si c'est un groupe, personne n'est au même niveau.
De l'autre côté si chaque individu est indépendant on a plus de chance d'en trouvé un qui aura les bonnes réponses.

Le mieux serait d'avoir une personne qui trouve tout le temps ou presque pour calibrer le reste.

[Pio2001]

Ils sont plusieurs, mais ils parlent toujours d'un auditeur principal. Celui qui choisit les disques et se place à la meilleure place, d'après ce que j'ai compris.

Mais je pense qu'on peut identifier les amplis sur des signaux test particuliers. Il y avait une discussion sur Hydrogenaudio à propose de l'audibilité de la distortion harmonique sur Sinusoïde de 50 Hz ou 100 Hz à haute puissance, vers les 3000 Hz (harmoniques d'ordre élevé), dans un silence complet.

[Emmanuel Piat]

Très intéressant. Merci pour le CR

J'ai un peu décroché des tests audio mais Pio2001 si tu peux me guider (URL, etc.) sur un process simple qui permet d'ajouter des harmoniques de rang pair et/ou impair sur une sinusoide pure (autre que matlab, octave, etc.) je suis preneur car j'ai envie de me rendre compte de l'influence de la distorsion harmonique

@+
Emmanuel