ABX avec des kangourous : le compte-rendu

[WhyHey]

belle synthèse !!
encore une fois "Pio est là pour vous "

Ouf ! J'ai passé tout le topic en revue. Pas le temps de commenter maintenant, mais je livre les points suivants à votre réflexion :

Refaire les tests d'amplis avec niveaux alignés / refaire les tests de modul
clairement c'est une des conditions qu'il faut respecter, même si c'est pus difficileà faire qu'à dire !

Comparer l'usage de Musique acoustique / électronique
question difficile ! le choix des extraits ... grande question, tellement dépendante de l'acquis/inné de chacun ..

ABXer l'Atoll avec sa saturation
pas essentiel, vu de ma fenetre

Prende un PC comme source (pour avoir des extraits courts et répétables plus rapidement)
non: je partirai sur un CD gravé avec des plages courtes d'extraits choisis ("presque" au hasard)

Tenter d'identifier l'ampli de sono sur autres enceintes et extraits
là encore, la question est difficile: les enceintes ayant un impact forcément significatif sur le résultat, si la bande passante des enceintes est clairement en dessous de ce qu'on cherche à mettre en évidence, par exemple ... pas facile de trouver les enceintes qui ne seront jamais remises enquestion ...

Système de mesure et acquisition par platine DAT (ou autre): enregistrer la distorsion de l'Atoll, enregsitrements sans charge (attention, ouvrir les amplis)
why not !

Test ABX de lowpass 'Mustang' (extrait proposé par ff123 avec des filtrages MathLab parfaits).
comprend pas ...

Prêt du switch à certains pour écoutes longue durée chez soi
bof !!

ABX du switch lui-même
là encore un point essentiel de la chaine de reprduction, donc forcément il attire toutes les craintes de non partialité/impact/élément perturbateur ... le mieux est de se passer de cet élément mais comment ?????

Atténuer le bruit des relais
jusqu'où ?? comment ?? quelle mesure pour "prouver" que le seuil est atteint?? Quel seuil ???

Ecoutes en solitaire, descendre en bas pour laisser le testeur seul
je changerai en "ecoute à deux": celui qui répond et celui qui mene le test, avec un troisième pour vérifier que le protocole est bien suivi, avec sa fiche de protocole sous la main pour tout vérifier ... quelle organisation cela va demander !!!

Problème de stabilisation des amplis de quelques secondes lors de la bascule : mesurable avec le système d'enregistrement mentionné
élément difficilement mesurable aussi ... je veux dire sans discussion interminable sur ce seuil de "stabilité" ...

Faire de l'ABXY, avec Y en plus de X ?
je ne vois pas trop l'interet mais à creuser !

tester des amplis de schémas différents, par exemple un de ces ampli classe D type Nuforce ou ice power (mais pas tubes : déjà fait, déjà OK, déjà en corrélation avec les mesures).
yep !

Utiliser le switch pour les câbles ? Deux sorties CD ?
toujours un risque de mettre en doute les sorties d'un même appareil ...

Ecoutes sur systèmes jumeaux ? Attention, on ne peut pas utiliser deux paires d'enceintes, ni même deux enceintes différentes pour A et B.
que oui, on ne peut pas: solution exclue !

Et Wald, tu es une mine de citations ! Je retiens :
entre autre car Wald est une mine d'or ...
Celui qui a réalisé un ABX ne fera plus jamais à mon avis une écoute « libre » comme avant.
+1
J'ai pour le moment tendance à penser que les câbles sont sans doute bien conçus et neutres mais que moi, en revanche, j'ai été assez mal fabriqué.

Beau boulot Pio "Clap, Clap"

[Pio2001]

la question est à partir de combien de tirages de X (et donc de réponses) l'échantillon est représentatif
- pour une personne ??
- pour un ensemble de personnes ?
afin d'en sortir un test valable "presque" pour tout le monde ?

la réponse se trouve dans les tests chi2 (ou ki2)... tests que j'utilisais dans les calculs statistiques en médecine pour la thèse de mon frère afin de déterminer les correlations entre résultats des tests sur un échantillon restreint et leur validité globale à valeur "presque" universelle ... tout est dans le "presque", ce "presque" a-t-il valeur universelle, ou dit autrement l'échantillon du test est-il représentatif ? si oui à quel degré ?

c'est primordial car pour l'instant rien de bien "calculé " dans des affrimations comme: "il faut 10 réussites pour 1 echec pour déclarer le test réussi", un test chi2 peut parfaitement démontrer qu'il faut en réalité 100 réussites pour 1 echec.
il ne faut jamais sous estimer le hasard !!

Nous avons précisément calculé le nombre d'essais et de réussites requis pour valider les hypothèses posées. J'ai résumé les scores à atteindre ici : viewtopic.php?f=1029&t=29893776&start=15#p172102713

Mais en fait... on les a un peu oubliés pendant nos tests ! Je me suis juste souvenu du 14/15.

L'analyse en Chi2 n'est absolument pas adaptée dans notre cas, car elle donne une validation pour l'ensemble des auditeurs. C'est-à-dire que si l'ensemble des auditeurs entend une différence, elle le valide. Sinon, elle ne le valide pas.

Or que se passe-t-il si un auditeur sur deux entend à peine la différence ? Eh bien le chi2 ne valide pas ! Or nous tenons absolument à ce que ce cas soit validé tout de même.

C'est pourquoi nous partons de l'analyse binômiale, qui est valable pour un seul individu, un seul test, et pour des tirages de probabilité 1/2 entre deux possibilités : A et B.
Ensuite, comme nous cherchons des probabilités d'erreur de type I largement inférieures à 1, nous négligeons les termes du second ordre lors de la combinaison de plusieurs auditeurs, ou de plusieurs tests, en posant, par approximation, qui si un test à une chance sur cent de mener à un faux succès, deux tests ont deux chances sur cent de mener à un faux succès au moins (on néglige la probabilité de 1/10000 d'avoir deux faux succès à la suite).
On calcule ainsi la probabilité d'avoir au moins un faux succès (et c'est précisément ce qui nous intéresse et que le chi2 ne donne pas du tout) parmi une série de tests ABX indépendants.

Il reste à poser notre exigeance au niveau du rejet des faux succès. Faible si on veut juste confirmer des hypothèses vraisemblables, forte si on veut prouver l'invraisemblable. Puis à diviser le taux de faux succès tolérable par le nombre total de résultats que nous pouvons admettre comme des succès, s'ils réussissent.

Pour calculer cela, on fait une recherche de tous les tests déjà effectués (grâce à l'annuaire des tests ABX de chaud7), et on ajoute tous ceux que l'on compte faire. Il faut de surcroît se donner une petite marge de sécurité parce qu'on travaille alors en mode séquentiel : on est susceptible de recommencer jusqu'à ce que ça marche.
Pour régler ce point, il faudrait faire des tests d'essai plus court. C'est d'ailleurs à proposer pour la prochaine rencontre : des ABX en deux étapes. On ne fait le vrai que si on réussit d'abord un petit 7/7 pour de faux, par exemple. Cela permettrait de faire baisser la pression, car il n'y aurait pas d'enjeu lors du premier ABX, et dans le véritable ABX, on serait rassuré de savoir qu'on peut avoir tout bon.

Statistiquement, cela réduit drastiquement le nombre de tests véritables, de sorte qu'on n'a pratiquement plus à se soucier de la nature séquentielle des tests, qui consiste en quelque sorte à "jeter le dé jusqu'à obtenir le chiffre désiré par hasard".

[Pio2001]

L'analyse en Chi2 n'est absolument pas adaptée dans notre cas, car elle donne une validation pour l'ensemble des auditeurs. C'est-à-dire que si l'ensemble des auditeurs entend une différence, elle le valide. Sinon, elle ne le valide pas.

Or que se passe-t-il si un auditeur sur deux entend à peine la différence ? Eh bien le chi2 ne valide pas ! Or nous tenons absolument à ce que ce cas soit validé tout de même.

Halte, je ne suis pas du tout spécialiste, et il me semble que j'ai écrit là absolument n'importe quoi ! Le chi2 devrait très bien valider ce cas.

Je crois me rappeler que j'avais renoncé à l'utiliser pour une toute autre raison, en fait : parce que les auditeurs, dans nos écoute en groupe, peuvent consciemment ou non, copier les uns sur les autres. Nous pouvons alors avoir un faux succès individuel répliqué par accident, et il me semble que comme le chi2 part du principe que tous les tests sont indépendants, cela conduirait à un faux positif, que l'on évite en multipliant le nombre d'essais nécessaire avec l'analyse binômiale.

Cela conduit à des exigences extrêmement sévères au niveau des scores, mais en contrepartie, on a une liberté totale dans le protocole d'écoute.

[Pio2001]

Oui, oui, oui, voilà, je viens de vérifier avec une analyse Anova (c'est un truc voisin du chi2), c'est bien ça. Plus il y a d'auditeurs qui répondent la même chose, plus c'est significatif.

Donc si on copie les uns sur les autres, cela fiche l'analyse en l'air. On a des faux positifs.

Avec mon système, je prends en compte la possibilité d'influence mutuelle entre auditeurs, et j'élimine les faux positifs dans ce cas en me fixant comme définition de l'erreur de type I (faux positif) "un auditeur au moins obtient un bon score". Et je calcule la probabilité pour que cela arrive. Non seulement dans nos tests, mais aussi dans tous les autres tests passés.

Enfin, je réduis cette probabilité au négligeable en augmentant le nombre d'essais nécessaires.

[gism]

Halte, je ne suis pas du tout spécialiste, et il me semble que j'ai écrit là absolument n'importe quoi ! Le chi2 devrait très bien valider ce cas.

Je crois me rappeler que j'avais renoncé à l'utiliser pour une toute autre raison, en fait : parce que les auditeurs, dans nos écoute en groupe, peuvent consciemment ou non, copier les uns sur les autres. Nous pouvons alors avoir un faux succès individuel répliqué par accident, et il me semble que comme le chi2 part du principe que tous les tests sont indépendants, cela conduirait à un faux positif, que l'on évite en multipliant le nombre d'essais nécessaire avec l'analyse binômiale.

Cela conduit à des exigences extrêmement sévères au niveau des scores, mais en contrepartie, on a une liberté totale dans le protocole d'écoute.

Si je peux me permettre, Pio, il y a un décalage assez étonnant chez toi entre la précision que tu accordes à l'aspect sciences "dures" de la procédure de test en aveugle (notamment la partie statistiques), et l'indifférence dans laquelle tu tiens l'aspect sciences "molles", c'est a dire celles qui se rapportent à l'homme.

Or, que tu le veuilles ou non, le test en aveugle se rapporte d'abord au domaine des sciences humaines. Le test en aveugle trouve sa seule justification dans l'hypothèse que la connaissance d'un appareil préalablement à son écoute induit un biais cognitif. C'est ce biais cognitif que la procédure de test en aveugle veut faire disparaitre.

Ceci étant, plusieurs interlocuteurs de cette filière, Ghozze en particulier, te font remarquer que le test en aveugle est extrêmement éloigné des conditions d'écoute classique et qu'il introduit en conséquence un autre biais cognitif susceptible de troubler les capacités de perception d'un auditeur. Pourtant, tu ne réponds jamais sur ce point, comme s'il te dérangeait, comme si tu te sentais moins à l'aise dans ce domaine que dans celui des statistiques, par exemple.

Je te repose donc la question :

Comment se fait-il que tu fasses l'hypothèse d'un biais cognitif lié à la connaissance préalable de l'appareil écouté, et qu'en même temps, tu refuses de faire l'hypothèse d'un biais cognitif lié aux conditions d'écoute propres au test en aveugle.

Il semble donc qu'il y ait à la base même de ta démarche une contradiction profonde.

[angus2]

Prêt du switch à certains pour écoutes longue durée chez soi
bof !!

Tiens je l'avais raté celle là dans le fil.

Solution idéale en ce qui me concerne. C'est ce qui m'avait paru être le plus à même de faire progresser ma "réflexion" sur le sujet l'année dernière, j'avais même proposé à Ohl de lui louer son switch pour ce faire aprés qu'un test qui se mettait au point à l'époque ait eu lieu mais je n'ai jamais eu de retour et j'en suis resté là n'ayant pas réussi à trouver de switch par ailleurs. J'avais même contacté l'ancine fabricant pour lui demander s'il ne lui restait pas un modèle dans un fond de tiroir et aprés une fausse joie là aussi c'est resté lettre morte.

Il reste quand même un espoir, j'ai eu aussi plus tard un contact avec Selectronic qui ont mis au point un switch pour tester leur ampli numérique, pour savoir s'ils ne voulaient pas me le vendre. Ils m'ont répondu que non mais que prochainement ils comptaient en produire quelques exemplaires pour le commercialiser.
Espérons que ce projet finira par aboutir.

[Pio2001]

Comment se fait-il que tu fasses l'hypothèse d'un biais cognitif lié à la connaissance préalable de l'appareil écouté, et qu'en même temps, tu refuses de faire l'hypothèse d'un biais cognitif lié aux conditions d'écoute propres au test en aveugle.

Il semble donc qu'il y ait à la base même de ta démarche une contradiction profonde.

J'admet tout-à-fait l'existence d'un biais cognitif lié aux conditions d'écoute propres au test en aveugle, seulement je l'envisage selon l'angle comportementaliste, qui selon moi permet de le quantifier plus ou moins.

Au lieu de me dire, "ce biais est non nul, donc tous les tests sont faux", j'essaye d'évaluer son effet. Il est non nul, mais de combien ?

D'un point de vue purement pratique, ce biais se manifeste chez fafa.dudu et Syber lorsqu'ils abandonnent. La procédure du test est fatigante, les différences disparaissent. Normalement, c'est une hypothèse à valider, mais je la considère comme vraie du fait que j'ai assisté au déroulement du test, et que je l'ai moi-même constatée sur des dizaines de tests ABX.

D'un point de vue plus rigoureux et théorique, ce biais est dû à la différence entre la procédure de mise en aveugle et la procédure de compariason ordinaire.
Or toutes ces différences peuvent être réduites à zéro en pratique, sauf une : la non-connaissance de l'appareil écouté.

Nous avons comme résultats des différences perçues en non aveugle, et des échecs à certains ABX. Nous cherchons, en partant du résultat initial, et en ajoutant étape par étape tout ce qui transforme l'état initial en l'état final : insersion d'un switch, égalisation des niveaux, pression du groupe, répétition des extraits, etc, à partir de quelle étape la différence a disparu, afin de comprendre pourquoi elle a disparu.
Ce biais cognitif se trouve quelque part dans cette chaîne, et en resserant l'étau entre les différences perçues normalement et les échecs ABX, on finira forcément par le coincer.

Afin de faciliter cela, j'ai proposé comme objectif essentiel de parvenir à faire des ABX de façon totalement relaxée. La pression et la course aux 7 réponses que l'on a faite à la fin de la journée empèche notre analyse des causes qui ont mené à l'échec. Lorsque les auditeurs prendront leur temps, lorsqu'ils pourront passer tranquillement du son habituel de leur chaîne à une écoute masquée, petit à petit, ils pourront soit retrouver les différences sonores alors que les appareils seront masqués, soit ils cesseront de les percevoir définitivement.
Tant que les deux écoutes, aveugle et non aveugle, seront en contradiction, ils seront dans ce qu'on pourrait appeler un état de "dissonance cognitive", entre ce qu'ils entendent d'un côté et pas de l'autre. Il faut alors prendre le temps de réfléchir intérieurement à cela afin de répondre soi-même à la question "le son est-il identique lorsque j'entends la différence et lorsque je me trompe".

Cela demande du temps, mais c'est pour moi le bon moyen d'approcher ce biais cognitif, qui empèche d'entendre clairement en aveugle. On a trop souvent tendance, je trouve, à considérer l'auditeur comme une machine qui répond sans réfléchir, et qui ne change jamais de comportement. Je suis persuadé que quelqu'un de curieux et motivé, comme Grand X, par exemple, finira par identifier dans sa tête ce biais cognitif, s'il influence ses perceptions, étant donné les moyens que l'on se donne pour faire ces écoutes. Sinon c'est simple, il restera éternellement en état de dissonance cognitive entre :
A : Le son de l'ampli 1
B : le son de l'ampli 2, différent du son de l'ampli 1 en condition normale
C : le son de l'ampli 1, identique au son de l'ampli 2 en condition ABX, donc différent de lui-même.

Ces trois propositions ne peuvent pas être vraies ensemble.
L'erreur peut être dans un biais physique (switch bouchon, etc). On va vérifier cela.
L'erreur peut être dans la perception B de la différence (biais cognitif positif)
L'erreur peut être dans l'absence de perception C de la différence (biais cognitif négatif dont nous parlons ici)

On resserera les conditions d'écoute jusqu'à ce que le problème apparaisse au grand jour

[frgirard]

Est-ce que l'un d'entre vous s'est essayé au test de la phase secteur en ABX ?

A priori en utilisant le même systéme, vous éliminez le soucis du réglade de niveau.

Francois

[ohl]

j'avais même proposé à Ohl de lui louer son switch pour ce faire

non, je ne loue pas le switch mais je suis OK pour le prêter...
Evidemment, je suis d'accord pour une journée J2, mais cette semaine, j'ai vraiment pas eu le temps de suivre les débats, ça va trop vite.

[angus2]

j'avais même proposé à Ohl de lui louer son switch pour ce faire

non, je ne loue pas le switch mais je suis OK pour le prêter...
Evidemment, je suis d'accord pour une journée J2, mais cette semaine, j'ai vraiment pas eu le temps de suivre les débats, ça va trop vite.

Juste pour préciser ma pensée au cas où, ça n'était pas du tout un reproche, je ne serais pas trés chaud moi même pour passer un appareil à un parfait inconnu, surtout si le dit appareil et aussi rare et donc quasi impossible à remplacer.
Si le pret se concrétise quand les journées de tests seront faites ne m'oubliez pas dans la liste des candidats motivés.

[Denis31]

Limite du HS, je pense que la conception/réalisation d'un appareil équivalent au niveau capacités de switch/connectique mais simplifié de la "logique" ABX (à gérer par un soft sur PC, interface à définir) serait largement dans les moyens des cadors de la section DIY.
Si je compte bien il y a juste quelques tensions à générer pour piloter les relais et basta.

[wald]

Limite du HS, je pense que la conception/réalisation d'un appareil équivalent au niveau capacités de switch/connectique mais simplifié de la "logique" ABX (à gérer par un soft sur PC, interface à définir) serait largement dans les moyens des cadors de la section DIY.
Si je compte bien il y a juste quelques tensions à générer pour piloter les relais et basta.

Ben non, hum, moins HS que d'autres messages. C'est la réflexion que je me faisais dans ma ford intérieure. Je suis (évidemment) nul en informatique mais les explications de Ohl semblaient aller dans ce sens. Je serais perso très partant pour partager ou louer un tel appareil.

[corsario]

Halte, je ne suis pas du tout spécialiste, et il me semble que j'ai écrit là absolument n'importe quoi ! Le chi2 devrait très bien valider ce cas.

Je crois me rappeler que j'avais renoncé à l'utiliser pour une toute autre raison, en fait : parce que les auditeurs, dans nos écoute en groupe, peuvent consciemment ou non, copier les uns sur les autres. Nous pouvons alors avoir un faux succès individuel répliqué par accident, et il me semble que comme le chi2 part du principe que tous les tests sont indépendants, cela conduirait à un faux positif, que l'on évite en multipliant le nombre d'essais nécessaire avec l'analyse binômiale.

Cela conduit à des exigences extrêmement sévères au niveau des scores, mais en contrepartie, on a une liberté totale dans le protocole d'écoute.

Si je peux me permettre, Pio, il y a un décalage assez étonnant chez toi entre la précision que tu accordes à l'aspect sciences "dures" de la procédure de test en aveugle (notamment la partie statistiques), et l'indifférence dans laquelle tu tiens l'aspect sciences "molles", c'est a dire celles qui se rapportent à l'homme.

Or, que tu le veuilles ou non, le test en aveugle se rapporte d'abord au domaine des sciences humaines. Le test en aveugle trouve sa seule justification dans l'hypothèse que la connaissance d'un appareil préalablement à son écoute induit un biais cognitif. C'est ce biais cognitif que la procédure de test en aveugle veut faire disparaitre.

Euh....

Je dirais plutôt que, le test en aveugle trouve sa seule justification que, s'il n'est pas fait en aveugle, il n'y a pas de jeu puisque que l'on connait la réponse à l'avance
(Le fait que le test en aveugle supprime de facto le biais cognitif c'est un plus, mais c'est tout. Pour qu'il y ait test il faut qu'il y ait un aveugle).

La question posée est : est-il possible de faire la différence entre A et B. C'est tout. Et pour ça on a uniquement besoin de science dure. La seule science molle dont on a éventuellement besoin c'est le foie gras et le champagne



PS1 : pour rassurer Pio qui n'a pas entendu de différence entre amplis depuis x années, je pense qu'il serait possible d'essayer entre un ampli à lampe et le Mimetism. Ca devrait être faisable ça quand même.

PS2 : pour Wald si par hasard il fait quand même ses extraits Apple Lossless, pas de problème, ça se convertit tout seul en wav ou en flac ou en ce qu'on veut avec le logiciel ad-hoc. Si je peux venir j'apporterai mon portable pour faire ces conversions si nécessaire.

[syber]

Et encore ...

Comme je le faisait remarquer lors de ce test, en toute honnêteté entre un ampli à lampe "bon aux mesures" (c'est à dire ne distordant pas de façon typique comme un ampli à tube) et un ampli à transistor "bon aux mesures", je me demande si je serais capable de faire la différence entre eux en aveugle ...

En fait, je pense qu'à partir du moment où deux amplis présentent les mêmes mesures sur une même charge et un volume sonore donné, ils ont le même son. Peu importe leur techno.

[Mahler]

c'est ce que je me demande de plus en plus ! et pourant j'entends des différences (pas énormes du tout) entre les amplis (vf test gemincore, classé et accuphase).