Test en aveugle

[raouf]

Raouf, je ne peux que te recommander d'essayer. Avec un rideau et un copain, tout bêtement, en simple aveugle, mais surtout: en ayant rendu les niveaux sonores égaux entre les deux amplis, à 0,1dB près. ET en tirant au sort (vraiment, avec un dé à jouer). Moi je parie que tu changeras d'avis suite à cette expérience.

Si tu tires au sort et que tu égalises les niveaux, c'est que tu cherches à réussir n fois le test et que tu écoutes à chaque fois le même passage. Et on retombe dans ce que je disais plus haut : là tu fais plus que cacher un des deux appareils, tu définis un protocole. C'est ça le souci.
Moi je veux écouter librement mon ampli et changer les disques, changer le volume pour chaque disque, comme je fais d'habitude.

[Pio2001]

Non, c'est loin d'être évident pour tous les "opposants" de l'ABX audio. Car sinon, comment expliquer le fait que des différences qui semblent évidentes dès les premières secondes en écoute "classique" s'évaporent en écoute aveugle ?

Parce que la méthodologie spécifique (3è échantillon X qui brouille les cartes) des tests ABX "contourne" le problème de la subjectivité. Il n'est pas demandé si l'on "préfère" mais si une "différence" est perçue. On doit les réaliser avec des sons simples et courts, pas sur la 5ème de Beethoven, on évite ainsi la tentation de juger artistique, sensibilité.

Si on souhaite étudier une différence perçue dans des conditions d'écoute normales, il est indispensable de se placer dans les conditions exactes où cette différence est normalement perçue.
Si c'était pendant la 5e de Beethoven, il faut utiliser la 5e de Beethoven. Sinon, on teste autre chose que la question posée au départ.

En pratique, l'ABX est un exercice long et difficile. on va donc chercher à le simplifier au maximum. Pour cela, l'auditeur qui souhaite vérifier en ABX une différence qu'il perçoit normalement va d'abord faire un travail de recherche sur cette différence. Il lui faut, pour raccourcir le test, déterminer les conditions dans lesquelles la différence est perçue le plus rapidement et le plus clairement. Cela veut dire choisir l'extrait musical le plus discriminant. Il peut par exemple trouver un autre disque où la différence est bien plus flagrante encore que sur la 5e de Beethoven. Il peut aussi s'apercevoir que la différence est plus flagrante sur un bruit rose. Il lui faut déterminer les enceintes, le lieu d'écoute, la chaîne et toutes les conditions nécessaires pour que la différence soit facilement perçue, et exiger que ces conditions soient réunies dans l'ABX. Sinon, en cas d'échec, on n'aura aucune information sur la cause de disparition de la différence.
Avec toute cette préparation, on peut éliminer d'office plusieurs hypothèses en cas d'échec : cela ne viendra pas de la chaîne, cela ne viendra pas du disque etc.

A noter, j'ai senti plusieurs sens pour "aveugle". Pour les tests en général, un double aveugle signifie que ni le testeur ni le testé ne savent ce qui est écouté. Le simple aveugle signifie que seul le testé ignore ce qui est écouté.

Je préfère la définition de l'ITU : double aveugle signifie qu'aucune "influence non contrôlée" ne peut informer l'auditeur sur la source écoutée en dehors du stimulus présenté.
Selon cette définition, le fait que l'opérateur ignore lui-même la source écoutée garantit généralement le double aveugle. Mais si les niveaux ne sont pas exactement alignés ou s'il y a des bruits de commutation caractéristiques, cela peut ruiner la mise "en double aveugle". A l'opposé, si l'opérateur sait quelle est la source présentée, mais qu'il est totalement isolé de l'auditeur, on peut considérer le test comme en double aveugle selon cette définition.

Conclusion les protocoles des tests ABX devraient préciser si l'écoute doit se faire yeux ouvert, yeux fermés. Si on laisse libre, l'observateur devrait noter si l'auditeur a ouvert ou fermé les yeux. Sinon il y a une vraie cause de biais... Pas si simple de diminuer p !

Dans le cadre de la hifi, nous tentons de détecter des différences qui sont de un à plusieurs ordres de grandeurs en-dessous des seuils audibles ! Le seul espoir d'avancer est de laisser totale liberté à l'auditeur pour les conditions de test.
Sinon, on en sera toujours au même point dans deux cents ans.

Je ne comprends pas comment on peut nier qu'il existe des différences de personnalité entre amplis (pas forcément entre tous les amplis hein). C'est du pur délire. En aveugle ou pas.

En non aveugle, d'accord.

En aveugle, est-ce qu'on est d'accord qu'il y a une catégorie d'amplis, les transistors bas et milieu de gamme, qui ne sont pas différentiables les uns des autres ? Je parle bien d'ABX ou autres tests en aveugle randomisés. Pas d'écoute ordinaire, où on est d'accord qu'il y a des gens qui entendent des différences, et d'autres pas.

Moi je veux écouter librement mon ampli et changer les disques, changer le volume pour chaque disque, comme je fais d'habitude.

Ce n'est pas interdit. Ou cela ne devrait pas l'être.
Si on veut tester une différence qui n'est audible qu'en changeant de disque et en changeant de volume, on ne risque pas d'y arriver sans changer de disque ni changer de volume.

C'est juste une question de montage expérimental. En l'occurence trouver une source à volume variable et pour laquelle l'atténuation de volume ne gêne pas la perception des différences.

[JACBRU]

Je pense qu'il y a de l'idéologie dans ce que tu dis.

Je crois en deux choses: tout effet a une cause, et même cause entraine mêmes effets
Mais sinon sans rire, j'ai au moins fait ce genre d'expérience.

Les amplis chinois sont communistes ? J'ignorais !

[raouf]

Je ne comprends pas comment on peut nier qu'il existe des différences de personnalité entre amplis (pas forcément entre tous les amplis hein). C'est du pur délire. En aveugle ou pas.

En non aveugle, d'accord.

En aveugle, est-ce qu'on est d'accord qu'il y a une catégorie d'amplis, les transistors bas et milieu de gamme, qui ne sont pas différentiables les uns des autres ? Je parle bien d'ABX ou autres tests en aveugle randomisés. Pas d'écoute ordinaire, où on est d'accord qu'il y a des gens qui entendent des différences, et d'autres pas.

Tout à fait d'accord pour dire qu'il y a un nombre non négligeable d'amplis qui ne sont pas différentiables les une des autres, même en non aveugle.

[Denis31]

Pio2001 a parfaitement répondu, bien sûr. Je rajoute juste quelques précisions:

Si tu tires au sort et que tu égalises les niveaux, c'est que tu cherches à réussir n fois le test...
Oui, bien sûr. Pour éliminer le cas ou l'auditeur réussit par chance.
... et que tu écoutes à chaque fois le même passage.
Non, pas forcément: tu peux bien changer de passage au cours du test, si tu estimes en avoir besoin.
Et on retombe dans ce que je disais plus haut : là tu fais plus que cacher un des deux appareils, tu définis un protocole. C'est ça le souci.
Moi je veux écouter librement mon ampli et changer les disques, changer le volume pour chaque disque, comme je fais d'habitude.
Et bien il n'y a aucun soucis à le faire en ABX; la seule chose est qu'il faut garantir que rien en dehors de leur "sonorité" permette à l'auditeur de distinguer les deux amplis. Ce qui serait le cas si par exemple, l'un des deux joue plus fort que l'autre; mais pas si le changement de volume d'écoute n'est pas corrélé au changement d'ampli, par exemple en contrôlant le volume avec le même préampli plaçé en amont des deux amplis à comparer, aucun problème.

Voila comment ça se passe en réalité:
Quelqu'un ("ton pote") a au préalable mis en place la configuration d'écoute: les deux amplis à comparer, une source à volume variable, une paire d'enceinte, les borniers/câbles "qui vont bien" pour que le changement d'ampli soit le plus facile, rapide et sûr possible, et les petits rideaux qui permettent à ton pote qui va faire les switch de le faire sans que l'auditeur (toi) sache quel appareil est branché. Le gain des deux amplis (supposons qu'ils soient tous deux dotés d'un réglage de volume) a été réglé pour que le niveau de sortie des deux amplis soit précisément égal.

Ce sont de bonnes enceintes, évidemment. Une bonne source. Des bon câbles et borniers/fiches. Et deux amplis supposés bien différents, par exemple un Yamaha RXV 657 d'un coté et un Accuphase, Icos, Pass ou équivalent de l'autre. Normalement, dans ces conditions la différence entre les deux amplis devrait être flagrante.

Maintenant, Raouf (l'auditeur), tu rentres dans la pièce, avec ton jeu de CDs favoris. Ton pote en met un dans la platine, lance la lecture, il te dit "Là, tu écoute le yamaha" (ou l'autre, mais il te le dit). Tu peux lui demander de monter/baisser le volume. De changer de CD / morceau. De passer sur l'autre ampli. Mais tu fais cela librement, autant de temps que tu le souhaites, autant de fois que tu le souhaites. Et c'est toi qui décide quel ampli tu écoutes.
La seule chose que tu n'aies pas le droit de faire, c'est de demander à monter le volume jusqu'au point que cela fasse saturer l'un des deux amplis.

Deux cas de figure se présentent:
1. tu arrives à identifier une combinaison (morceau, volume, durée) qui te permette d'être relativement confiant sur le fait que tu sauras reconnaitre quel ampli joue lorsque ton pote aura tiré un dé et switché sur un ampli ou l'autre, sans te le dire.
2. tu n'arrives pas à identifier une telle combinaison.

Dans le cas 2, j'en conclue que ce jour là, les deux amplis ne sonnaient pas différemment au point que Raouf puisse les distinguer à l'écoute. Et toi ?

Dans le cas 1, on va passer en phase aveugle: ton pote va lancer le dé, si c'est 1,2,3 il passe sur l'ampli Yamaha, si c'est 4,5,6 il passe sur l'autre; mais il ne te le dit pas. Tu va écouter le morceau que tu veux, le temps que tu veux, au volume que tu veux; jusqu'à ce que tu puisses dire "c'est le yam" ou "c'est l'autre".
Une fois cela fait, tu vas recommencer 9 (au pire) autres fois; tu auras le droit de faire autant de pauses que nécessaire; de changer de morceau, de volume, etc. Tu as même le droit de demander à repasser sur l'ampli Yam ou l'autre pour un temps (aussi long que tu veux, autant que tu veux), avant de faire ton choix, pour te les remettre "dans l'oreille" si besoin était.

1.1 Si au bout de 10 fois tu ne t'es pas trompé, j'en conclue qu'il y a plus de 999 chances sur 1000 que les deux amplis sonnent différemment, au point que Raouf puisse les distinguer à l'écoute. C'est une quasi certitude. (Et, note pour Gloinfred: si Raouf à pu les distinguer à l'écoute, c'est sans doute qu'ils sonnent différemment même quand Raouf n'est pas là pour les écouter).
1.2 Si tu t'es trompé entre 1 et 3 fois sur les 10, j'en conclue qu'il y a des chances que les deux amplis sonnent différemment (mais c'est loi d'être une certitude), au point que Raouf puisse les distinguer à l'écoute. Et que faire une série d'écoute amène à se tromper de temps en temps; peut-être que la différence n'était pas énorme, ce qui justifierait une certaine "fatigue". Il faudrait refaire le test, peut-être avec plus d'entrainement, ou en fractionnant les écoutes.
1.3 Si tu t'es trompé entre 4 et 6 fois, j'en conclue que tu te trompais en croyant identifier les deux amplis. La différence de sonorité, si elle existe, n'est sans doute pas énorme; ou bien, Raouf n'entend pas si bien que ça.
1.4 Si tu t'es trompé entre 7 et 9 fois, j'en conclue qu'il y a des chances que les deux amplis sonnent différemment (mais c'est loi d'être une certitude), au point que Raouf puisse les distinguer à l'écoute; mais que Raouf est sans doute dyslexique, ou quelque chose du même genre: quand il a reconnu le Yam, il a souvent dit que c'était l'autre (et inversement). Il faudrait refaire le test, peut-être avec plus d'entrainement, ou en fractionnant les écoutes.
1.5 Si tu t'es trompé 10 fois, j'en conclue qu'il y a plus de 999 chances sur 1000 que les deux amplis sonnent différemment, au point que Raouf puisse les distinguer à l'écoute. C'est une quasi certitude. Et Raouf est un sacré plaisantin.

Voilà, c'est simple. Je parie que si tu faisais cette expérience, tu tomberais dans les cas 2 ou 1.2,1.3,1.4; ou que tu abandonnerais avant les 10 tentatives. Chiche ?

[tkfu]

Bref tu débarques ds la piece sans jamais avoir entendu tes morceaux sur les 2 matos ou bien tu as sélectionné des morceaux tests discriminants pour la piece + les 2 matos?

[Denis31]

Comme tu veux. Il n'y a en définitive aucune règle, sauf une: l'auditeur doit réussir à distinguer 10 fois sur 10 les amplis, sans qu'il puisse reconnaitre celui qu'il écoute autrement que par sa "sonorité". Peu importe TOUT le reste.

edit: DONC BIEN SUR, si tu connais deux amplis et un morceau qui te permettra de les distinguer dans un tel test, c'est justement le moment t'y lancer.

[tkfu]

Comme tu veux. Il n'y a en définitive aucune règle, sauf une: l'auditeur doit réussir à distinguer 10 fois sur 10 les amplis, sans qu'il puisse reconnaitre celui qu'il écoute autrement que par sa "sonorité". Peut importe TOUT le reste.

Donc ne rien connaitre à la sonorité des amplis ds leur environnement n'a pas d'importance selon toi, et ben pour moi ça change beaucoup surtout pour 10 essais seulement

[Denis31]

J'ai édité pour préciser ma pensée.

[j_yves]

Comme tu veux. Il n'y a en définitive aucune règle, sauf une: l'auditeur doit réussir à distinguer 10 fois sur 10 les amplis, sans qu'il puisse reconnaitre celui qu'il écoute autrement que par sa "sonorité". Peut importe TOUT le reste.

Donc ne rien connaitre à la sonorité des amplis ds leur environnement n'a pas d'importance selon toi, et ben pour moi ça change beaucoup surtout pour 10 essais seulement

Ce n'est en fait jamais le cas si tu ne fais le test en aveugle que lorsque tu dicernes une différence en non aveugle
a partir du moment où tu a entendu une différence en "non aveugle" c'est que tu connais les différentes "sonorités" des amplis a tester non?
donc tu disposes toujours d'un savoir préalable

[raouf]

Pio2001 a parfaitement répondu, bien sûr. Je rajoute juste quelques précisions:

Si tu tires au sort et que tu égalises les niveaux, c'est que tu cherches à réussir n fois le test...
Oui, bien sûr. Pour éliminer le cas ou l'auditeur réussit par chance.
... et que tu écoutes à chaque fois le même passage.
Non, pas forcément: tu peux bien changer de passage au cours du test, si tu estimes en avoir besoin.
Et on retombe dans ce que je disais plus haut : là tu fais plus que cacher un des deux appareils, tu définis un protocole. C'est ça le souci.
Moi je veux écouter librement mon ampli et changer les disques, changer le volume pour chaque disque, comme je fais d'habitude.
Et bien il n'y a aucun soucis à le faire en ABX; la seule chose est qu'il faut garantir que rien en dehors de leur "sonorité" permette à l'auditeur de distinguer les deux amplis. Ce qui serait le cas si par exemple, l'un des deux joue plus fort que l'autre; mais pas si le changement de volume d'écoute n'est pas corrélé au changement d'ampli, par exemple en contrôlant le volume avec le même préampli plaçé en amont des deux amplis à comparer, aucun problème.

Voila comment ça se passe en réalité:
Quelqu'un ("ton pote") a au préalable mis en place la configuration d'écoute: les deux amplis à comparer, une source à volume variable, une paire d'enceinte, les borniers/câbles "qui vont bien" pour que le changement d'ampli soit le plus facile, rapide et sûr possible, et les petits rideaux qui permettent à ton pote qui va faire les switch de le faire sans que l'auditeur (toi) sache quel appareil est branché. Le gain des deux amplis (supposons qu'ils soient tous deux dotés d'un réglage de volume) a été réglé pour que le niveau de sortie des deux amplis soit précisément égal.

Ce sont de bonnes enceintes, évidemment. Une bonne source. Des bon câbles et borniers/fiches. Et deux amplis supposés bien différents, par exemple un Yamaha RXV 657 d'un coté et un Accuphase, Icos, Pass ou équivalent de l'autre. Normalement, dans ces conditions la différence entre les deux amplis devrait être flagrante.

Maintenant, Raouf (l'auditeur), tu rentres dans la pièce, avec ton jeu de CDs favoris. Ton pote en met un dans la platine, lance la lecture, il te dit "Là, tu écoute le yamaha" (ou l'autre, mais il te le dit). Tu peux lui demander de monter/baisser le volume. De changer de CD / morceau. De passer sur l'autre ampli. Mais tu fais cela librement, autant de temps que tu le souhaites, autant de fois que tu le souhaites. Et c'est toi qui décide quel ampli tu écoutes.
La seule chose que tu n'aies pas le droit de faire, c'est de demander à monter le volume jusqu'au point que cela fasse saturer l'un des deux amplis.

Deux cas de figure se présentent:
1. tu arrives à identifier une combinaison (morceau, volume, durée) qui te permette d'être relativement confiant sur le fait que tu sauras reconnaitre quel ampli joue lorsque ton pote aura tiré un dé et switché sur un ampli ou l'autre, sans te le dire.
2. tu n'arrives pas à identifier une telle combinaison.

Dans le cas 2, j'en conclue que ce jour là, les deux amplis ne sonnaient pas différemment au point que Raouf puisse les distinguer à l'écoute. Et toi ?

Dans le cas 1, on va passer en phase aveugle: ton pote va lancer le dé, si c'est 1,2,3 il passe sur l'ampli Yamaha, si c'est 4,5,6 il passe sur l'autre; mais il ne te le dit pas. Tu va écouter le morceau que tu veux, le temps que tu veux, au volume que tu veux; jusqu'à ce que tu puisses dire "c'est le yam" ou "c'est l'autre".
Une fois cela fait, tu vas recommencer 9 (au pire) autres fois; tu auras le droit de faire autant de pauses que nécessaire; de changer de morceau, de volume, etc. Tu as même le droit de demander à repasser sur l'ampli Yam ou l'autre pour un temps (aussi long que tu veux, autant que tu veux), avant de faire ton choix, pour te les remettre "dans l'oreille" si besoin était.

1.1 Si au bout de 10 fois tu ne t'es pas trompé, j'en conclue qu'il y a plus de 999 chances sur 1000 que les deux amplis sonnent différemment, au point que Raouf puisse les distinguer à l'écoute. C'est une quasi certitude. (Et, note pour Gloinfred: si Raouf à pu les distinguer à l'écoute, c'est sans doute qu'ils sonnent différemment même quand Raouf n'est pas là pour les écouter).
1.2 Si tu t'es trompé entre 1 et 3 fois sur les 10, j'en conclue qu'il y a des chances que les deux amplis sonnent différemment (mais c'est loi d'être une certitude), au point que Raouf puisse les distinguer à l'écoute. Et que faire une série d'écoute amène à se tromper de temps en temps; peut-être que la différence n'était pas énorme, ce qui justifierait une certaine "fatigue". Il faudrait refaire le test, peut-être avec plus d'entrainement, ou en fractionnant les écoutes.
1.3 Si tu t'es trompé entre 4 et 6 fois, j'en conclue que tu te trompais en croyant identifier les deux amplis. La différence de sonorité, si elle existe, n'est sans doute pas énorme; ou bien, Raouf n'entend pas si bien que ça.
1.4 Si tu t'es trompé entre 7 et 9 fois, j'en conclue qu'il y a des chances que les deux amplis sonnent différemment (mais c'est loi d'être une certitude), au point que Raouf puisse les distinguer à l'écoute; mais que Raouf est sans doute dyslexique, ou quelque chose du même genre: quand il a reconnu le Yam, il a souvent dit que c'était l'autre (et inversement). Il faudrait refaire le test, peut-être avec plus d'entrainement, ou en fractionnant les écoutes.
1.5 Si tu t'es trompé 10 fois, j'en conclue qu'il y a plus de 999 chances sur 1000 que les deux amplis sonnent différemment, au point que Raouf puisse les distinguer à l'écoute. C'est une quasi certitude. Et Raouf est un sacré plaisantin.

Voilà, c'est simple. Je parie que si tu faisais cette expérience, tu tomberais dans les cas 2 ou 1.2,1.3,1.4; ou que tu abandonnerais avant les 10 tentatives. Chiche ?

Les conditions décrites ici sont proches de l'idéal. J'ai du mal à voir des objections à la méthode, à partir du moment où on est libre d'écouter comme bon nous semble, et même de demande de réécouter A ou B à volonté...Bref c'est une transposition du module ABX de Foobar dans la vie matérielle. Le seul problème est qu'il faut trouver un opérateur quasi-esclave, qui accepte de passer sa journée à brancher et débrancher des câbles HP
Pas facile à mettre en oeuvre dans la vie réelle quand même.

[raouf]

Le souci, c'est qu'ici sur le forum, vous n'avez jamais fait de test ABX dans de telles conditions. Donc ton pronostic sur les résultats est hasardeux. Du coup je me hasarde aussi à un pronostic : si j'ai le droit de comparer 2 amplis bien bien différents (genre Naim ou Sugden vs Accuphase), je me risque à dire que je ferais 9 ou 10/10. Avec ton Yamaha, je ne sais pas, je ne connais pas ce Yamaha.

[haskil]

Comme tu veux. Il n'y a en définitive aucune règle, sauf une: l'auditeur doit réussir à distinguer 10 fois sur 10 les amplis, sans qu'il puisse reconnaitre celui qu'il écoute autrement que par sa "sonorité". Peut importe TOUT le reste.

Donc ne rien connaitre à la sonorité des amplis ds leur environnement n'a pas d'importance selon toi, et ben pour moi ça change beaucoup surtout pour 10 essais seulement

Ce n'est en fait jamais le cas si tu ne fais le test en aveugle que lorsque tu dicernes une différence en non aveugle
a partir du moment où tu a entendu une différence en "non aveugle" c'est que tu connais les différentes "sonorités" des amplis a tester non?
donc tu disposes toujours d'un savoir préalable

Raison pour laquelle, lors du dernier test en ABX que j'ai fait (avec les Kangourous réunis chez Grand x), je n'ai pas pu commencer le miens : je n'arrivais pas en écoute libre à reconnaître vraiment le NAD du Mimetism. Or pour moi, un NAD a un son rond (pour simplifier) et cette idée je me la suis faite en possédant trois amplis de cette marque !

A noter aussi, mais tu le sais, qu'un ABX peut donc durer plusieurs mois, le temps de s'imprégner de la sonorité de chacun des appareils que l'on veut tester pour faire le test ABX le jour où on se sent certain de les reconnaître en aveugle.

[richardpe]

Pour un véritable protocole ABX il faut ceci sinon ca ne marche pas !

http://www.nathanmarciniak.com/elemental/

[Denis31]

Le souci, c'est qu'ici sur le forum, vous n'avez jamais fait de test ABX dans de telles conditions. Donc ton pronostic sur les résultats est hasardeux.

Si.
http://www.homecinema-fr.com/forum/viewtopic.php?f=1037&t=29917564
http://www.homecinema-fr.com/forum/viewtopic.php?f=1030&t=29917861
(désolé pour le staÿle )
+ d'autres non documentés ici, ceux des kangourous (pas exactement les mêmes objets) et d'autres auxquels je ne pense pas. Mais il faut de toutes façons bien comprendre que la seule règle c'est niveaux alignés, aveugle et tirage au sort, le reste est complètement adaptable.
Bien sûr les conditions de mes tests sont assez particulières, du à mon système multi-amplifié. Je suis prêt à en faire d'autres avec des enceintes "normales".

Du coup je me hasarde aussi à un pronostic : si j'ai le droit de comparer 2 amplis bien bien différents (genre Naim ou Sugden vs Accuphase), je me risque à dire que je ferais 9 ou 10/10.

Et bien, fais-le ! crois-moi que je serais ravi d'un succès.

Avec ton Yamaha, je ne sais pas, je ne connais pas ce Yamaha.

Si deux amplis ont un son différent, l'un des deux au moins à un son différent du mien.