Test en aveugle

[haskil]

tkfu écrit : Ceux que rassurent l'abx m'inquiètent de plus en plus

Il faut donc que j'explique maintenant ce que veut dire :

haskil écrit : C'est rassurant, non, de voir que des tests en aveugle réussissent et prouvent l'existence de différences entre matériels !

Vraiment ?

Tu charies tkfu ! Si tu ne fais pas exprès, tu m'inquiètes Si tu fais exprès, tu m'ennuies

Car des différences existent bel et bien !

[nb]

Je veux simplement dire que les tests sont effectués à l'oreille humaine, et que l'interprétation de ce qu'elles perçoivent est réalisée par le cerveau humain.
Pour moi, le résultat ne peut en aucun cas être considéré comme objectif, ce que je traduis, peut être improprement, par subjectif.
Disons "non objectif" à la place si ça te convient mieux

Non ! voir la réponse d'Haskill.. il faut employer les mots dans leur signification acceptée, sinon c'est un dialogue de sourds ! L'ABX est un test impliquant une dimension Humaine (c'est ce que tu veux signifier en employant mal le mot "subjectif") mais ou la subjectivité est é-li-mi-née en ce qui concerne le choix de X, les biais étant neutralisés.

C'est une opinion certes respectable, sans doute défendable, mais je ne la partage absolument pas.
Je suis absolument convaincu qu'il est totalement erroné d'affirmer que la subjectivité est éliminée et les biais neutralisés.
Le problème étant qu'il assez difficile d'argumenter avec des gens qui s'appuient sur des raisonnements scientifiques présentés comme indiscutables, tout en s'en affranchissant joyeusement du raisonnement scientifique dans les mêmes expérimentations, et en affirmant que l'acceptation des termes est nécessairement la leur (qui de plus, est assez floue ...)

En particulier lorsqu'ils sont péremptoires ... (ne le prend pas pour toi )

Disons que je pense avoir une formation théorique largement suffisante pour maîtriser ces sujets, et que mon expérience dans ce type de domaine est qu'il faut se garder d'en déduire des conclusions hâtives.
La théorie c'est très joli, mais dans le monde réel les conditions ne sont jamais parfaites.
Dans la mesure où on écoute de la musique et non des signaux de tests, il vaut mieux évaluer avec de la musique.
En poussant ton raisonnement à l'extrême, il suffit des specs techniques de l'appareil sur des signaux de test pour l'évaluer, et les tests ABX ne servent à rien

Il ne s'agit pas de conclusion hâtives de ma part, je me contente de soutenir la position de 99% de la communauté audio... 100% des outils d'analyse et de traitement audio sont basés sur le concept de linéarité. Ensuite en conception électronique ou HP il existe des modèles spécifiques prenant en compte les phénomènes non linéaires évidemment... mais toujours dans le but de les minimiser dans le produit fini !
Une électronique s'évalue sur specs (vérifiées sérieusement, pas annoncées). Aucun besoin d'écouter si le minimum "vital" est atteint: ce n'est sans doute pas pour rien que les écoutes aveugles de matériels identiquement spécifiés échouent ! ceux-là ne servent pas à grand chose effectivement, hormis sur le plan personnel (comme déjà dit).
Il en va tout autrement d'une enceinte, car le "minimum vital" de performances n'est ni vraiment défini (le résultat dépendant autant de l'enceinte que du local), et jamais atteint (sauf mise en œuvre de moyens totalement hors de portée du particulier); il s'agit donc de juger de compromis, et là la subjectivité a toute sa part.

Là encore tout ceci me semble totalement erroné.
Dans le monde réel rien n'est linéaire.

Je ne partage pas du tout l'avis que l'analyse de signaux de tests simples "suffise" à caractériser la perception qu'un individu (avec ses oreilles et son cerveau) aura d'un morceau de musique.

J'ai jeté un coup d'oeil à ton logiciel Audio Diffmaker, et je reste très circonspect.

Il me semble très difficile de juger de la différence de perception par l'oreille humaine, simplement en analysant la soustraction des deux fichiers.
L'évaluation de ce qui permet de trier les différences considérées comme significatives, des autres, me semble largement faite au doigt mouillé.
Le principal article théorique sur lequel s'appuie le logiciel, date de 1991, et les références mentionnées dans cet article, sont en général datées d'avant les années 80.
Il ne semble pas utiliser de fondements théoriques plus modernes que l'analyse de Fourier.
L'analyse de Fourier donne des informations très intéressantes sur la description d'un signal, et permet en particulier de le décrire en totalité si on connait la plage de fréquence admise.
Mais pour ce qui est de la description des caractéristiques d'un signal, elle souffre de sérieuses lacunes.
Elle a été largement supplantée par l'analyse en ondelettes, qui n'est apparue que dans les années 80 (très utilisée en traitement d'image, et même, il me semble, dans certains algorithmes de compression mp3).

Je serais beaucoup plus intéressé par un logiciel analysant les caractéristiques (à discuter et définir) d'un fichier, avec des méthodes beaucoup plus significatives que l'analyse de Fourier.
Puis de comparer les dites différences.
Ceci serait pour moi beaucoup plus parlant et instructif que (en simplifiant) l'analyse de la soustraction des fichiers audio, sans utiliser d'outils plus poussés que l'analyse de Fourier.

[Denis31]

Tu noteras que je n'ai mentionné Fourier que pour dire "depuis Fourier"; ça ne veut pas dire que d'autres méthodes d'analyse ne sont pas utiles, toutes se fondent dans le corpus de connaissances qu'on dénomme par "traitement du signal", et cela ne remet pas du tout en cause mon propos, que tu sembles avoir mal compris: à aucun moment l'audition humaine n'y intervient... il s'agit simplement de caractériser l'effet d'un matériel sur un signal (musical par exemple) qui le traverse; je dis qu'à partir du moment ou ce matériel est linéaire, ce comportement est caractérisé par sa réponse sur signaux de test. Ce n'est pourtant qu'une application simple des définitions... hors une électronique dite "hi-fi" est essentiellement linéaire quand on reste dans son domaine d'utilisation... CQFD.
Ce raisonnement n'est contestable qu'en ce qu'il rentre frontalement en contradiction avec les expériences de tous les jours des hi-fistes qui entendent des différences de sonorités "à tire-larigot" si j'ose dire... (entre électroniques). Or, ces différences de sonorité disparaissent systématiquement quand les écoutes sont faites à niveaux égalisés et en aveugle, et que les dites électroniques sont justement d'un niveau de performances "suffisant".
Tout ça ne va pas plus loin qu'une simple effort de cohérence.

[nb]

Tu noteras que je n'ai mentionné Fourier que pour dire "depuis Fourier"; ça ne veut pas dire que d'autres méthodes d'analyse ne sont pas utiles, toutes se fondent dans le corpus de connaissances qu'on dénomme par "traitement du signal", et cela ne remet pas du tout en cause mon propos, que tu sembles avoir mal compris: à aucun moment l'audition humaine n'y intervient... il s'agit simplement de caractériser l'effet d'un matériel sur un signal (musical par exemple) qui le traverse; je dis qu'à partir du moment ou ce matériel est linéaire, ce comportement est caractérisé par sa réponse sur signaux de test. Ce n'est pourtant qu'une application simple des définitions... hors une électronique dite "hi-fi" est essentiellement linéaire quand on reste dans son domaine d'utilisation... CQFD.
Ce raisonnement n'est contestable qu'en ce qu'il rentre frontalement en contradiction avec les expériences de tous les jours des hi-fistes qui entendent des différences de sonorités "à tire-larigot" si j'ose dire... (entre électroniques). Or, ces différences de sonorité disparaissent systématiquement quand les écoutes sont faites à niveaux égalisés et en aveugle, et que les dites électroniques sont justement d'un niveau de performances "suffisant".
Tout ça ne va pas plus loin qu'une simple effort de cohérence.

Je revenais simplement sur le fait que je n'ai pas connaissance (je n'ai pas spécialement cherché non plus), d'expérience permettant de faire la comparaison d'enregistrement numérisés de musique (et non de signaux de tests) jouée par un système, pour essayer de définir des caractéristiques propres à ce système, et essayer de le comparer avec d'autres, en s'affranchissant de l'oreille humaine lors du test.

Le logiciel Audio diffmaker dont tu m'as parlé me semble très simpliste dans son approche.

Pour ce qui est de la linéarité parfaite, celle ci n'existe tout simplement pas dans le monde réel.
Elle n'est que plus ou moins approximative.

C'est pourquoi je disais que

- soit on considère que les conditions théoriques idéales (n'existant pas en pratique) sont suffisamment approchées pour être considérées comme parfaites, et la réponse aux signaux de tests est suffisante pour caractériser la qualité de système.
Dans ce cas les tests ABX n'ont tout simplement pas lieu d'être.

- soit ces conditions sont suffisamment imparfaites pour que les signaux de tests ne soient pas suffisants, et les tests ABX sont alors trop approximatifs pour être rigoureux.

Il ne faut pas oublier que les perceptions humaines sont à la fois très imparfaites, et extrêmement puissantes.
L'oeil serait un capteur photo de qualité exécrable, mais le travail fait par le cerveau en fait un outil de perception extraordinaire qui va bien au delà des capacités d'analyse de n'importe quel système constitué d'un appareil photo et d'un logiciel d'analyse d'image.
Sa perception est toutefois très subjective, et très facile à tromper.
Il en va de même pour l'oreille.

Bien évidemment on trouvera toujours le cas de différences nettes pour lesquels l'ABX donne des résultats positifs nets, mais est finalement inutile.
On trouvera toujours le cas de différences nécessitant un certain entrainement, ou don, qui fait que les tests ABX seront réussis par les personnes entraînées ou plus douées, et pas par les autres.
Mais ces cas sont des évidences et enfoncent des portes ouvertes.

Pour moi, le principal intérêt d'un test ABX est précisément le cas que beaucoup considèrent comme non significatif.
C'est celui ou je crois percevoir une différence "à vue", et ou je réalise que je ne la perçois plus à l'aveugle.

Quelqu'un a rappelé plus haut une notion effectivement trop oubliée.
Le principal intérêt de l'ABX, c'est d'abord et avant tout, de confirmer, ou non, à l'aveugle, une différence déjà perçue à vue.

[haskil]

NB écrit : Pour moi, le principal intérêt d'un test ABX est précisément le cas que beaucoup considèrent comme non significatif.
C'est celui ou je crois percevoir une différence "à vue", et ou je réalise que je ne la perçois plus à l'aveugle.

C'est l'avis de nombreuses personnes participant à ces sujets sur HCFR.

J'ajouterais qu'il n'est guère utile de s'attarder sur un ABX réussi, sauf de façon pratique, dans la vraie vie, sur un forum de hifi, pour des consommateurs, s'il met en présence des appareils de caractéristiques annoncées proches, voire quasi identiques, mais de prix fort dissemblables ce qui se produit souvent avec le électroniques : la lecture d'une fiche technique seule ne permettant pas de déduire si l'appareil est entrée de gamme, HDG ou THDG : sauf par défaut : 3% de distorsion, c'est un ampli à tube équipés de 300B et non contreréactionné ! Donc THDG

Quelqu'un a rappelé plus haut une notion effectivement trop oubliée.
Le principal intérêt de l'ABX, c'est d'abord et avant tout, de confirmer, ou non, à l'aveugle, une différence déjà perçue à vue.

C'est une opinion, là encore très largement partagée !

Un ABX fonctionne, dans le cas qui nous occupe, de cette façon !
.
Tu perçois des différences entre deux appareils. Tu les identifies. Tu t'en imprègnes. Et ensuite tu pratique l'ABX.

Il m'est arrivé dans le cadre des kangourous de ne pas pouvoir commencer l'ABX... puisque je n'entendais de visu pas de différences entre deux amplis dont je décidais moi même lequel j'écoutais et dont je pouvais tout à loisir changer le volume sonoré délivré !

Il peut d'ailleurs durer des mois et des mois et ne pas faire du tout l'objet de passage frénétiques de l'un à l'autre des appareils écoutés selon ce procédé...

[tkfu]

tkfu écrit : Ceux que rassurent l'abx m'inquiètent de plus en plus

Il faut donc que j'explique maintenant ce que veut dire :

haskil écrit : C'est rassurant, non, de voir que des tests en aveugle réussissent et prouvent l'existence de différences entre matériels !

Vraiment ?

Tu charies tkfu ! Si tu ne fais pas exprès, tu m'inquiètes Si tu fais exprès, tu m'ennuies

Car des différences existent bel et bien !

Que ça t'ennuie ou que ça t'inquiéte, t'autociter n'explique rien pour moi ni pour ceux qui sont attachés à la rigueur

[haskil]

tkfu écrit : Ceux que rassurent l'abx m'inquiètent de plus en plus

Il faut donc que j'explique maintenant ce que veut dire :

haskil écrit : C'est rassurant, non, de voir que des tests en aveugle réussissent et prouvent l'existence de différences entre matériels !

Vraiment ?

Tu charies tkfu ! Si tu ne fais pas exprès, tu m'inquiètes Si tu fais exprès, tu m'ennuies

Car des différences existent bel et bien !

Que ça t'ennuie ou que ça t'inquiéte, t'autociter n'explique rien pour moi ni pour ceux qui sont attachés à la rigueur

Disons que ton manque de rigueur dans les échanges m'amusait et continue de m'amuser tant tu prends ta pirouette pour une réponse.

Disons alors que ta "réponse" ne laisse pas de m'inquiéter Quand on sait que des objectivistes forcenés sont guidés par une idéologie qui leur fait affirmer qu'il n'existe pas de différences entre électroniques tant elles sont parvenues à un niveau de performances qui excèdent les possibilités de discrimination de l'oreille. Et donc pour les plus forcenés tout sonne pareil... Eh bien non et l'ABX peut prouver le contraire.

[expertdoc]

Disons alors que ta "réponse" ne laisse pas de m'inquiéter Quand on sait que des objectivistes forcenés sont guidés par une idéologie qui leur fait affirmer qu'il n'existe pas de différences entre électroniques tant elles sont parvenues à un niveau de performances qui excèdent les possibilités de discrimination de l'oreille. Et donc pour les plus forcenés tout sonne pareil... Eh bien non et l'ABX peut prouver le contraire.

Existe t il une liste d'amplis intégrés ou autres blocs stéréos, voire de lecteurs CD, n'étant pas en panne ou malfonction pour lesquels un tests ABX a prouvé des différences?

[Pio2001]

Existe t il une liste d'amplis intégrés ou autres blocs stéréos, voire de lecteurs CD, n'étant pas en panne ou malfonction pour lesquels un tests ABX a prouvé des différences?

En termes d'amplis, il y en a sur des amplis à lampes. La différence est audible à cause de leur impédance de sortie trop haute, qui change la courbe de réponse lorsqu'une enceinte de basse impédance est connectée. Sur des amplis à transistors, je ne sais pas. Cela devrait pourtant être possible en se basant sur la puissance maximale ou le bruit de fond. Le problème, c'est que l'alignement des niveaux nécessite du matériel spécial.

Pour des lecteurs de CD, il y a quelques succès pour des doubles conversions (wav original contre wav lu, puis réenregistré). Mais directement entre lecteurs, c'est plus rare. Gbo, je crois a réussi un ABX très difficile entre une copie réalisée depuis son lecteur de DVD et une copie réalisée depuis son lecteur de CD. Il y a aussi le succès discman contre Drive + DAC Audio Note, chez Matrix-hifi, mais l'Audio Note peut être considéré comme défectueux dans la mesure où il ne suréchantillonne pas, ce qui altère sa courbe de réponse de façon audible. D'ailleurs, en aveugle, la totalité des auditeurs présents ont préféré le son du discman.

Directement entre lecteurs, sans enregistrer les sorties dans des fichiers wav comparés ensuite, comme l'a fait Gbo, il n'y en a pas à ma connaissance hors DACs sans suréchantillonage, discman à buffer compressé, qui tourne à la mauvaise vitesse, ou lecteur à deux balles avec bruit de fond en sortie. Mais là aussi, c'est très difficile à organiser. Il est facile de mesurer avec précision les niveaux de sortie, mais souvent impossible de les modifier.

Pour la petite histoire, Matrix-hifi avait apparament réussi, jusqu'à ce que quelqu'un s'aperçoive que les deux entrées du préamp Mark levinson utilisé pour brancher les deux DACs étaient reliés à des processeurs qui retardaient l'établissement du son (fade-in) de façon différente sur les deux entrées. Une fois les DACs branchés sur deux entrées identiques, l'auditeur a échoué.

[expertdoc]

Merci de ta réponse, donc sur des totors ou des lecteurs CD, pas de tests ABX confirmant une différence.

[tkfu]

tkfu écrit : Ceux que rassurent l'abx m'inquiètent de plus en plus

Il faut donc que j'explique maintenant ce que veut dire :

haskil écrit : C'est rassurant, non, de voir que des tests en aveugle réussissent et prouvent l'existence de différences entre matériels !

Vraiment ?

Tu charies tkfu ! Si tu ne fais pas exprès, tu m'inquiètes Si tu fais exprès, tu m'ennuies

Car des différences existent bel et bien !

Que ça t'ennuie ou que ça t'inquiéte, t'autociter n'explique rien pour moi ni pour ceux qui sont attachés à la rigueur

Disons que ton manque de rigueur dans les échanges m'amusait et continue de m'amuser tant tu prends ta pirouette pour une réponse.

Disons alors que ta "réponse" ne laisse pas de m'inquiéter Quand on sait que des objectivistes forcenés sont guidés par une idéologie qui leur fait affirmer qu'il n'existe pas de différences entre électroniques tant elles sont parvenues à un niveau de performances qui excèdent les possibilités de discrimination de l'oreille. Et donc pour les plus forcenés tout sonne pareil... Eh bien non et l'ABX peut prouver le contraire.

Si l'abx prouve qqchose c'est la difficulté à le réussir et comme il n'est valable que pour celui que pour qui le réussit ponctuellement, il est plus une aide aux "objectivistes forcenés" qu' aux autres hifistes . L'abx n'est en rien une méthode absolue car issue d'un résultat humain et s'appuyant sur une évaluation probabiliste, donc acquis avec une incertitude et peut etre une pirouette

[Pio2001]

Merci de ta réponse, donc sur des totors ou des lecteurs CD, pas de tests ABX confirmant une différence.

Sur des totors, rien. Sur des lecteurs, il y a quelques présomptions. Le tout parmi un gros tas d'échecs, dont un nombre non négligeable auraient dû être réussi très facilement.

[JACBRU]

NB écrit : Je veux simplement dire que les tests sont effectués à l'oreille humaine, et que l'interprétation de ce qu'elles perçoivent est réalisée par le cerveau humain.
Pour moi, le résultat ne peut en aucun cas être considéré comme objectif, ce que je traduis, peut être improprement, par subjectif.
Disons "non objectif" à la place si ça te convient mieux

ça ne convient pas mieux ! On ne demande pas au testeur s'il préfère tel ou tel, juste si c'est différent...
Si l'ABX est réussi : il est réussi et atteste que les appareils testés sont différents. Même si je ne réussis pas le même test...
Si cet ABX réussi n'est pas réussi par un autre testeur : c'est parce que son outil de mesures (oreille, cerveau, savoir, capacité, etc.) a un seuil de détection moins fin que celui du testeur qui a réussi.
La non objectivité/subjectivité ne doit être confondue ni avec la précision de la mesure ni avec sa fidélité....
Si je veux peser des objets qui pèsent quelques milligrammes, il vaut mieux que j'utilise une balance dont la précision est supérieure au seuil que je veux mesurer.
Si je prends une balance de Roberval standard, je ne pourrais pas mesurer ces masses de quelques milligrammes... pas parce que la mesure n'est pas objective mais parce que l'outil n'est pas assez sensible.
Elle ne doit pas non plus être confondue avec la fidélité : un outil de mesure est fidèle quand il donne toujours le même résultat pour la même mesure...
L'oreille/cerveau est plus ou moins fidèle, plus ou moins précise, mais dans un test ABX de matériels elle n'est pas subjective, elle est bien objective. Elle peut en revanche être peu sensible et faire en sorte que le seuil de perception de tel ou tel soit plus ou moins sensible.
Cf. mon exemple des fichiers musicaux un tout petit peu décalés en hauteur : différents, ils ne seront pas discriminés par tout ceux qui ne sont pas assez sensibles à la hauteur des notes. Et pourtant, ils sont bien différents.
Si un test ABX est réussi : il l'est et pour toujours et dans l'absolu et de façon indépendante à tout autre ABX qui serait fait ensuite et raté. Et je dois dire que pour ce qui nous concerne, la hifi, c'est plutôt rassurant de voir que certains sont réussis.
Si un test ABX n'est pas réussi : sa conclusion ne veut pas dire qu'il n'y a pas de différences entre les appareils testés... car une autre paire d'oreilles plus précises peut parfaitement percevoir les différences de même que des conditions encore meilleures pour réaliser ce test peuvent permettre à certains de le réussir qui ne l'avaient pas réussi jusque là.

Ces derniers posts me font penser à une chose, certains confondent subjectivité et perception. Les tests ABX font appel à la perception. Ceci ne veut pas dire quelle et qu'ils ne soient pas faillibles, d'où le p...

[JACBRU]

En termes d'amplis, il y en a sur des amplis à lampes. La différence est audible à cause de leur impédance de sortie trop haute, qui change la courbe de réponse lorsqu'une enceinte de basse impédance est connectée. Sur des amplis à transistors, je ne sais pas. Cela devrait pourtant être possible en se basant sur la puissance maximale ou le bruit de fond. Le problème, c'est que l'alignement des niveaux nécessite du matériel spécial.

Ne pas oublier le courant disponible, la contre réaction et le facteur d'amortissement qui ont un impact fondamental sur le rendu du couple ampli-enceinte. Un ampli ne se juge jamais seul, même avec des tests ABX. Son comportement peut être très différent selon l'enceinte qui l'accompagne...

[Pio2001]

Ne pas oublier le courant disponible, la contre réaction et le facteur d'amortissement qui ont un impact fondamental sur le rendu du couple ampli-enceinte. Un ampli ne se juge jamais seul, même avec des tests ABX. Son comportement peut être très différent selon l'enceinte qui l'accompagne...

Bien sûr, les ABX sur amplis à lampes le montrent bien. Si la charge a des creux dans l'impédance, l'altération de la courbe de réponse est audible. Si la charge a une impédance élevée à toutes les fréquences, l'altération est inaudible.

Le courant disponible se manifeste par la puissance de crête, qui dépend de l'enceinte connectée.
Le facteur d'amortissement agit sur la courbe de réponse, qui dépend aussi de l'enceinte connectée.
Quand à la contre-réaction, je ne sais pas exactement sur quoi elle agit. Réponse amplitude / fréquence ? Réponse phase / fréquence ? Distorsion harmonique ? Distorsion intermodulation ? Bruit ?