Test en aveugle

[corsario]

Pour conclure que la différence existe, il faut et il suffit que l'auditeur identifie correctement en aveugle A et B 15 fois de suite.

Et la messe est dite

On reproche souvent aux pro-ABX de dogmatiser la procédure comme c'est le cas ici.

Evidemment, risque d'erreur dans l'alignement des niveaux, oubli d'aligner la balance en plus des volumes, alignement de niveaux de lecteurs CD en numérique sur 16 bits (ce qui en fait passer un sur 15 bits utiles), erreur de transcription des résulats (on a déjà eu le cas !). Tout cela existe et doit être pris en compte. Cela constitue le contexte du résultat obtenu.

J'ai dit au dessus que l'on pouvait et devait critiquer le protocole expérimental (et que j'étais bien placé pour le savoir) mais pas le principe. Ici c'est le principe qui n'est soit pas compris, soit critiqué...

[Themisto]

C'est le principe de base : le principe ne peut être critiqué ni remis en cause.
C'est commode.

[expertdoc]

Pour conclure que la différence existe, il faut et il suffit que l'auditeur identifie correctement en aveugle A et B 15 fois de suite.

Et la messe est dite

C'est donc bien religieux, voila pourquoi ça coince avec une telle "vision" des choses. Comme quoi la croyance peut changer de camp

[corsario]

C'est le principe de base : le principe ne peut être critiqué ni remis en cause.
C'est commode.

le principe peut être critiqué et remis en cause. Il l'est dans ces pages.
Le problème ici c'est que pour critiquer ce principe c'est les maths qu'il faut remettre en cause.
Bon courage

Pour conclure que la différence existe, il faut et il suffit que l'auditeur identifie correctement en aveugle A et B 15 fois de suite.

Et la messe est dite

C'est donc bien religieux, voila pourquoi ça coince avec une telle "vision" des choses. Comme quoi la croyance peut changer de camp

Mais allez-y : je vous invite à critiquer le principe

Je rappelle le principe : Un auditeur reconnaît en aveugle A et B 15 fois de suite.

Quelle autre explication pouvez-vous donner à part : A et B sont différents à l'écoute ?

Allez-y, faites preuve d'imagination. Critiquez...

Mais je vous préviens, les maths, c'est assez strict comme sport...

[herve25]

Je trouve un peu dommage qu'après avoir obtenu une réponse argumentée de Ghozze sur l'utilité ou non selon lui d'une démarche scientifique pour mettre en évidence des différences audibles entre matériels comparés (on peut ou non être d'accord avec son opinion, c'est un autre débat), on en revienne à des discussions sur la foi et les croyances qui ne font pas à mon avis avancer le débat.
Si j'ai bien compris son intervention, il pense que des différences audibles existent, qu' elles sont ténues, peuvent être mises en évidence par une démarche de nature scientifique (on pourra discuter ensuite laquelle est la plus appropriée). Jusqu'à présent, les gens comme moi qui nous situons parmi les objectivistes tendance "tiède et sceptique" n'ont pas de problème pariculier avec ces assertions. Cependant, il souligne 1. que ces différences audibles peuvent être perçues sans avoir recours à ces méthodes (l'écoute attentive, le bon sens, la répétitivité de la réponse etc. seraient généralement suffisantes...) et 2. Qu'à force de chercher à tout démontrer par une attitude hyperobjectiviste, ils perdraient à la fois le sens auditif et une partie du bon sens.
Je suis partiellement en désaccord avec les points 1 et 2 qu'il a soulevé pour les raisons suivantes:

1. Oui, beaucoup de ces différences sont perçues ou ont été perçues par la méthode subjective venant de remarques d'audiophiles ou mélomanes attentifs; Quand elles sont nombreuses, répétées et venant de personnes d'intérêt ou de domaines différents, elles acquièrent une certaine crédibilité. Mais cela ne constitue à mon avis que la première phase qui doit conduire à la DEMONSTRATION (lorsque la question a un véritable intérêt). Un peu, à l'image de l'observation qui est la première phase d'une démarche dans le cadre d'une science expérimentale. A la fin du processus expérimental, on pourra conclure à la réponse à la question dans une échelle qui ira de croyance, crédibilité, probabilité,certitude relative, haute certitude. Sans ce processus, on s'arrêtera au mieux à "il est probable, il est vraisemblable que..."

Par ailleurs selon les cas et où on se situe, on peut prendre des décisions différentes en terme de démarche expérimentale à une question IDENTIQUE tout en gardant SON BON SENS. J'illustrerais cette affirmation par l' exemple/ question suivant:
Question: Des enceintes "rôdées" sonnent elles différemment d'enceintes n'ayant jamais fonctionné?

Mon expérience d'audiophile m'inciterait à répondre par l'affirmative à cette question. Dois je donc faire un test en tant qu'individu? Probablement non, car mon but est d'écouter de la musique et ce rôdage se fera donc naturellement. et après tout je verrai bien (attitude subjective et de bon sens) Dois-je (dans l'intérêt de la SCIENCE!!!) participer à un test? Bof, pourquoi pas, ce n'est pas une question inintéressante mais en pratique, cela changera quoi pour moi ou les autres auditeurs? Je vais quand même bien devoir y passer par ce rôdage, que je le veuille ou non... (attitude objective et de bon sens du point de vue de l'utilisateur). Le constructeur devrait-il procéder à un test comparatif? A mon avis, oui. En admettant qu'il y ait une différence et que cette différence se traduise par une préférence pour l'enceinte rôdée, peut-être aurait-t-il intérêt à mettre sur le marché des enceintes ayant subi un "rôdage accéléré" pour que son produit apparaisse sous son meilleur jour (attitude objectiviste et de bon sens)

2. Je ne crois pas qu'à force d'écouter selon des méthodes "objectives", on en arrive à perdre le sens auditif ou la "reconstitution mentale" qui lui est associée. Quand je vois l'attitude "recueillée", le sérieux et l'"hyperconcentration" que la plupart des participants mettent quand ils passent des tests, je dirais presque que c'est l'inverse. La plupart sont à la recherche de la différence la plus minime, d'"exploit sensoriel", voire de record à battre. C'est là à mon avis qu'intervient parfois une perte du bon sens; OK, cette différence existe mais quelle en est la partinence?
Un exemple: un test ABX fait sur 100 participants va montrer que 2 indivisus ont été capables de différencier A de B avec un degré de certitude tel que le risque de faux positif est quasiment nul. Les ABXeurs sont généralement contents, l'expérience a été concluante, la différence entre A et B a pu être démontrée; Moi, ce qui m'interesse davantage dans un tel résultat est que 98% de l'échantillon a été incapable de faire la différence. Dans un sens, l'attitude des ABXeurs est plus scientifique (ils ont démontré quelque chose alors que moi j'observe des résultats sur un échantillon qui en plus n'est pas forcément représentatif de la population) mais mon observation est peut-être plus utile dans le processus de "l'aide à la décision".
Voilà quelques remarques et comme d'habitude, j'ai été trop long

[ghozze]

je voudrais également, à l'attention de Ghozze (qui nous expliquait plus haut qu'il était d'accord avec JACBRU), souligner une phrase de JACBRU, que je cite au dessus :

l'homme étant ce qu'il est, un auditeur peut à un moment donné percevoir une différence qui n'existe pas dans la réalité. Cela ne suffira pas à conclure que cette différence existe.

Relis bien cette phrase Ghozze, répète-la chaque matin, imprègne-t-en, médite-la. Soupèse chaque mot. Car rien n'est plus vrai :

"L'homme étant ce qu'il est, un auditeur peut à un moment donné percevoir une différence qui n'existe pas dans la réalité. Cela ne suffira pas à conclure que cette différence existe."

...cela ne suffira pas à conclure que cette différence existe.


Car on peut reprocher beaucoup de choses à JACBRU, mais pas d'être dans la foi en ce qui concerne la hifi.

Cessez quelques instants de chercher la polémique pour de faux motifs. La phrase que vous soulignez, j'aurais très bien pu l'écrire. D'ailleurs, je l'ai certainement écrite d'une manière ou d'une autre. J'aurais donc mauvaise grâce à la contester...

Mais j'aurais ajouté : et alors ? Quel est le problème ? Si on peut percevoir une différence qui n'existe pas, on peut aussi en percevoir qui existe. Au reste, c'est bien le but d'un ABX réussi : duplication de ce qu'on a déjà perçu sans lui. L'ABX réussi prouve au moins une chose, incontestable : c'est qu'on peut se passer de lui... On s'en doutait, mais c'est bien quand même. Continuez !...

[Denis31]

erreur

[corsario]

100 % d'accord avec Hervé

Au passage Ghozze ne peut pas être d'accord avec ce passage :

Mais cela ne constitue à mon avis que la première phase qui doit conduire à la DEMONSTRATION (lorsque la question a un véritable intérêt). Un peu, à l'image de l'observation qui est la première phase d'une démarche dans le cadre d'une science expérimentale. A la fin du processus expérimental, on pourra conclure à la réponse à la question dans une échelle qui ira de croyance, crédibilité, probabilité,certitude relative, haute certitude. Sans ce processus, on s'arrêtera au mieux à "il est probable, il est vraisemblable que..."

Pour Ghozze ce n'est pas une démonstration, c'est une duplication

Son dernier message prouve d'ailleurs qu'il n'a toujours rien compris

Bon courage avec Ghozze en tout cas Hervé. Vous êtes plein de bonne volonté, je vous le laisse



Par contre je note que Ghozze reprend à son compte cette phrase (de JACBRU) à laquelle je souscris entièrement d'ailleurs :

l'homme étant ce qu'il est, un auditeur peut à un moment donné percevoir une différence qui n'existe pas dans la réalité. Cela ne suffira pas à conclure que cette différence existe.

Je ne vois pas trop comment Ghozze va réussir concilier sa position ("un fait est un fait", etc) avec cette phrase, mais c'est intéressant

[expertdoc]

C'est le principe de base : le principe ne peut être critiqué ni remis en cause.
C'est commode.

le principe peut être critiqué et remis en cause. Il l'est dans ces pages.
Le problème ici c'est que pour critiquer ce principe c'est les maths qu'il faut remettre en cause.
Bon courage

Pour conclure que la différence existe, il faut et il suffit que l'auditeur identifie correctement en aveugle A et B 15 fois de suite.

Et la messe est dite

C'est donc bien religieux, voila pourquoi ça coince avec une telle "vision" des choses. Comme quoi la croyance peut changer de camp

Mais allez-y : je vous invite à critiquer le principe

Je rappelle le principe : Un auditeur reconnaît en aveugle A et B 15 fois de suite.

Quelle autre explication pouvez-vous donner à part : A et B sont différents à l'écoute ?

Allez-y, faites preuve d'imagination. Critiquez...

Mais je vous préviens, les maths, c'est assez strict comme sport...

C'est le "il faut et il suffit" qui est dogmatique, ne fait pas semblant de ne pas comprendre que le reproche est toujours le même, placer ce test médiocre et fort peu scientifique au centre de la VERITE du monde audio, alors qu'il ne peut, au mieux, que confirmer quelque chose, et même compte tenu de sa piètre sensibilité quelque chose de préférence tenant à l'évidence.

[Themisto]

C'est le principe de base : le principe ne peut être critiqué ni remis en cause.
C'est commode.

le principe peut être critiqué et remis en cause. Il l'est dans ces pages.
Le problème ici c'est que pour critiquer ce principe c'est les maths qu'il faut remettre en cause.
Bon courage

Pour conclure que la différence existe, il faut et il suffit que l'auditeur identifie correctement en aveugle A et B 15 fois de suite.

Et la messe est dite

C'est donc bien religieux, voila pourquoi ça coince avec une telle "vision" des choses. Comme quoi la croyance peut changer de camp

Mais allez-y : je vous invite à critiquer le principe

Je rappelle le principe : Un auditeur reconnaît en aveugle A et B 15 fois de suite.

Quelle autre explication pouvez-vous donner à part : A et B sont différents à l'écoute ?

Allez-y, faites preuve d'imagination. Critiquez...

Mais je vous préviens, les maths, c'est assez strict comme sport...

Je trouve que les maths ne serviront que pour prouver que la répétition d'un fait est suffisante pour l'établir.
Donc, on a un fait établi à un instant donné. Soit.
Par contre, toute phrase du style "si le fait A est vrai alors on peut en conclure que B est vrai aussi (ou faux ou peu importe)" n'a rien à voir avec les maths. C'est de la méthodologie qu'il s'agit et pas du principe.
Donc, si c'est pour conclure à un constat que "l'auditeur a reconnu 15 fois de suite", eh bien celui-là, il ne peut être mis en cause, je suis d'accord avec toi.
Par contre, de là à dire que "donc, A et B sont différents à l'écoute", cela peut (et doit) être dûment discuté et peut être remis en cause.

Je n'énonce pas un désaccord avec toi, en disant cela, je ne fais que préciser ma manière de penser.

[corsario]

C'est le principe de base : le principe ne peut être critiqué ni remis en cause.
C'est commode.

le principe peut être critiqué et remis en cause. Il l'est dans ces pages.
Le problème ici c'est que pour critiquer ce principe c'est les maths qu'il faut remettre en cause.
Bon courage

Pour conclure que la différence existe, il faut et il suffit que l'auditeur identifie correctement en aveugle A et B 15 fois de suite.

Et la messe est dite

C'est donc bien religieux, voila pourquoi ça coince avec une telle "vision" des choses. Comme quoi la croyance peut changer de camp

Mais allez-y : je vous invite à critiquer le principe

Je rappelle le principe : Un auditeur reconnaît en aveugle A et B 15 fois de suite.

Quelle autre explication pouvez-vous donner à part : A et B sont différents à l'écoute ?

Allez-y, faites preuve d'imagination. Critiquez...

Mais je vous préviens, les maths, c'est assez strict comme sport...

C'est le "il faut et il suffit" qui est dogmatique, ne fait pas semblant de ne pas comprendre que le reproche est toujours le même, placer ce test médiocre et fort peu scientifique au centre de la VERITE du monde audio

OK, le "il faut " est de trop : on peut imaginer d'autres expériences, d'autres protocoles pour démontrer la différence.

Lesquels ?

alors qu'il ne peut, au mieux, que confirmer quelque chose, et même compte tenu de sa piètre sensibilité quelque chose de préférence tenant à l'évidence.

Ah, expertdoc fait du Ghozze maintenant. Expertdoc, prouver et confirmer est-ce la même chose ??

Est-ce que, comme Ghozze, dans un grand écart acrobatique tu soutiens à la fois que :

l'homme étant ce qu'il est, un auditeur peut à un moment donné percevoir une différence qui n'existe pas dans la réalité. Cela ne suffira pas à conclure que cette différence existe.

et que :

le test ABX ne peut, au mieux, que confirmer quelque chose

Je reprend l'exemple du procès : l'accusé jure qu'il n'était pas sur les lieux du crime. Il l'affirme, Il le répète même.
De même Expertdoc et Ghozze qui affirment entendre telle ou telle différence entre deux appareils A et B.

Est-ce que ça suffira à emporter l'adhésion des jurés ? Dans un cas comme dans l'autre, non.

Arrive une preuve : dans le premier cas un témoin digne de foi et extérieur à l'affaire témoigne avoir vu l'accusé à 500 km de là. D'autre part un ticket de péage et une communication du portable de l'accusé montrent également qu'il était à 500 km du lieu du crime.
Dans le second cas Expertdoc et Ghozze font un test ABX et le réussissent : ils reconnaissent sans se tromper A et B 15 fois de suite.

A la fin, l'accusé est donc relaxé. Il peut bien sûr dire "Ah mais je vous l'avais bien dit, c'est ce que je me tuais à vous répéter."
et Expertdoc et Ghozze diront : "Ah mais je vous l'avais bien dit, c'est nul votre test, c'est juste une confirmation, rha, rha, rha"

OK. N'empêche que moi je vois une différence entre la chose affirmée et la chose prouvée.

Donc expertdoc, si tu veux imaginer une autre preuve que le test ABX pour montrer la différence entre A et B, vas-y, pas de problème. Ca serait même bienvenu car, comme tu le remarques, un test ABX est parfois difficile à mettre en oeuvre.

[syber]

M'enfin, il n'y a rien de dogmatique dans cette phrase

C'est de la logique mathématique exprimée en français, tout simplement :

- Pour prouver qu'une différence audible existe réellement, il faut l'identifier en double aveugle 14 fois sur 15 tirages car cela élimine de façon quasi certaine la probabilité d'une réponse due au hasard, et il n'est rien besoin de faire d'autre pour prouver cette différence. [

i]Il faut et il suffit[/i] ... locution utilisée par tous les profs de math depuis le collège jusqu'à l'université.

[corsario]

C'est le principe de base : le principe ne peut être critiqué ni remis en cause.
C'est commode.

le principe peut être critiqué et remis en cause. Il l'est dans ces pages.
Le problème ici c'est que pour critiquer ce principe c'est les maths qu'il faut remettre en cause.
Bon courage

Pour conclure que la différence existe, il faut et il suffit que l'auditeur identifie correctement en aveugle A et B 15 fois de suite.

Et la messe est dite

C'est donc bien religieux, voila pourquoi ça coince avec une telle "vision" des choses. Comme quoi la croyance peut changer de camp

Mais allez-y : je vous invite à critiquer le principe

Je rappelle le principe : Un auditeur reconnaît en aveugle A et B 15 fois de suite.

Quelle autre explication pouvez-vous donner à part : A et B sont différents à l'écoute ?

Allez-y, faites preuve d'imagination. Critiquez...

Mais je vous préviens, les maths, c'est assez strict comme sport...

Je trouve que les maths ne serviront que pour prouver que la répétition d'un fait est suffisante pour l'établir.

non, ici les maths ne servent pas à ça. Ils servent à dire que la répétition du succès 15 fois suffit à écarter la possibilité que ce succès ait eu lieu par hasard. C'est le succès qui est établi.

Donc, on a un fait établi à un instant donné. Soit.

Oui, le succès est établi à un instant donné.
Mieux : le testé peut recommencer n'importe quand : puisque la chance n'était pas en cause, il réussira également.
Le succès est donc établi en général pour le testé.

Par contre, toute phrase du style "si le fait A est vrai alors on peut en conclure que B est vrai aussi (ou faux ou peu importe)" n'a rien à voir avec les maths. C'est de la méthodologie qu'il s'agit et pas du principe.

Donc, si c'est pour conclure à un constat que "l'auditeur a reconnu 15 fois de suite", eh bien celui-là, il ne peut être mis en cause, je suis d'accord avec toi.
Par contre, de là à dire que "donc, A et B sont différents à l'écoute", cela peut (et doit) être dûment discuté et peut être remis en cause.

Ce n'est pas de la méthodologie, c'est de la logique. De la logique formelle.

Tu es donc d'accord que l'auditeur a reconnu 15 fois de suite A et B;
Les probabilités nous disent que ça ne peut donc pas être de la chance (c'est à ça que sert le "15 fois de suite", plutôt que 3 fois de suite seulement par exemple).

Si l'auditeur a reconnu A et B et que ce n'était pas par hasard, ni un coup de chance, alors c'était quoi ?

Si tu as une autre conclusion logique que : donc A et B sont différents, je t'écoute


EDIT : tu vois Pio que c'est même le principe que les gens ne comprennent pas ou bien refusent de comprendre. C'est incroyable. Une fois que le principe sera compris et accepté, alors il sera temps de discuter de la mise en oeuvre, des protocoles, où là c'est une autre paire de manche !

[corsario]

M'enfin, il n'y a rien de dogmatique dans cette phrase

C'est de la logique mathématique exprimée en français, tout simplement :

- Pour prouver qu'une différence audible existe réellement, il faut l'identifier en double aveugle 14 fois sur 15 tirages car cela élimine de façon quasi certaine la probabilité d'une réponse due au hasard, et il n'est rien besoin de faire d'autre pour prouver cette différence. [

Il faut et il suffit ... locution utilisée par tous les profs de math depuis le collège jusqu'à l'université.

si il a raison : Il faut et il suffit j'ai fait exprès de l'utiliser (en pensant "nécessaire et suffisant", qui est un synonyme), mais j'ai eu tort : le test ABX est suffisant ("il suffit"), mais il n'est pas forcément nécessaire ("il faut"): on peut imaginer un autre moyen de prouver la différence

(mais la question est posé : lequel)

[syber]

Ben oui : Lequel justement ? On aimerai bien qu'on nous le dise !

"nécessaire et suffisant"

oui, c'est à ça que je pensais aussi.