Test en aveugle

[frgirard]

Je l'avais pas lu celle-là :

>>Pour revenir aux tests ABX, s'il s'agit de prouver une différence, je ne vois pas à quels biais méthodologiques font ou ont fait allusion
>>Expertdoc, JACBRU et fgirard (je ne sais pas si ce dernier a retourné sa veste depuis )

Je ne mets jamais de veste et ne la retoune jamais. C'est de la hifi, les combats idéologiques ça va un tout petit peu "histoire de" mais aprés il faut passer à autre chose.

C'est cela oui

Excuse mais je ne te cites pas, ce n'est que ma maigre expérience en audio et mes quelques petite connaissances en physio et neurologie. Connaissances de charlot pour reprendre un éminent scientifique qui me font penser qu'un individu normal ne peut réussir un ABX.

Egalement ma trés longue pratique à un trés bon niveau de l'escalade où le subjectif doit être maîtrisé ou exacerbé à un niveau qui n'a rien à voir avec l'audio.

http://www.homecinema-fr.com/forum/viewtopic.php?p=172326985#p172326985 (décembre 2008)

je nie l'effet placebo. tu es médecin. tu sais ce qu'est l'effet placébo, dans quel champ il s'exerce et ce qu'il traduit. rien de tel en hifi

Par contre, l'instabilité et la subjectivité de la perception auditive, la non volonté de faire un protocol simple de test (pas d'ABX, je n'y crois pas non plus) fait et l'hyper-egotrophie audiophilesque que n'importe quoi peut te faire entendre des différences.

http://www.homecinema-fr.com/forum/viewtopic.php?p=172571307#p172571307 (février 2009)

Je résume mes propos réelles ou imaginaire :

Pour moi l'abx musical ne peut réussir pour :
- Multimodalité des sens (Meredith & Stein).
- Impacte émotionelle de la musique avec une influence sous cortical demontrée.
- Capacité de la mémoire en regard de la complexité du contenut d'un message musical.

+
- Méthodologie d'écoute de l'auditeur
- La culture

Les trois premiéres raisons n'empêchent en rien la réussite d'un ABX sonore (a-musique)

http://www.homecinema-fr.com/forum/viewtopic.php?p=172917827#p172917827 (juillet 2009)


(c'est moi qui souligne)

Et donc je ne sais pas si tu as retourné ta veste depuis, c'est-à-dire si tu maintiens aujourd'hui que "toutes ces raisons" sont des biais méthodologiques aux tests ABX, ou pas. Il me semblait que tu avais évolué. D'où ma question.

Je te remercie de me citer, je n'ai même plus l'énergie de le faire

Evolution dans le sens où ces querelles sont lassantes. Et puis je "cherche", me documente et évolue. Je me rend compte que le domaine cognitif est bien peu connu, où plutôt que ce qui est connu n'est souvent que théorique et les théories s'affrontent.


Francois

[corsario]

A Corsario et d'autres

J'aimerais que quand Corsario prétend me citer, qu'il ne me fasse pas dire ou écrire des choses que je n'ai jamais dites ou écrites. Ce serait la moindre des choses. Par ailleurs, je ne me permettrais jamais de contester ses connaissances des tests utilisés en biologie ou agronomie; Cela n'est pas le propos.

non, ça ce n'est pas toi, c'est Jacbru

Je prétends mais- j'ai peut-être tort- que dans mon domaine de compétence (méthodologie et essais cliniques dans le domaine de la psychiatrie et de la douleur), on a à se confronter dans le cadre des études à des problèmes où le subjectif et le non quantitatif sont particulièrement importants et difficiles à évaluer et qu'on peut y trouver une certaine analogie avec les tests en audio. Il peut parfois être utile d'emprunter des méthodes (ce qui ne signifie pas les dupliquer) qui sont utilisées dans d'autres disciplines qui sont confrontées à des difficultés du même ordre; A partir de là, j'ai essayé de proposer des pistes de reflexion qui ne se cantonnent pas à l'ABX.

oui, et je t'ai remercié pour cela (cf mon quote du message du 6 octobre en réponse à frgirard un peu au dessus).

Quant à celui qui dit que le calcul du nombre de sujets est un sujet qui répond à des règles statistiques simples, il est soit particulièrement brillant soit je suis un imbécile (l'un d'ailleurs n'empêchant pas l'autre)

oui, des règles statistiques simples par rapport à la modélisation de la physique de l'atmosphère ou à la théorie quantique des champs par exemple. Tout ça pour dire qu'il ne faut pas non plus en faire un plat. La preuve : même des biologistes arrivent à faire des tests statistiques, c'est dire (je suis physicien de formation, d'où ma pique, un peu private joke).

[corsario]

Evolution dans le sens où ces querelles sont lassantes. Et puis je "cherche", me documente et évolue. Je me rend compte que le domaine cognitif est bien peu connu, où plutôt que ce qui est connu n'est souvent que théorique et les théories s'affrontent.

C'est bien d'évoluer.
Moi aussi j'évolue d'ailleurs. Nous évoluons tous j'espère. Disons que certains traitent tout le monde de mariole et assènent leur science (ou ce qu'ils croient être leur science) avant (parfois) d'évoluer, ce qui est lassant aussi

La science, souvent, moins on en a et moins on la comprends, plus on l'étale...

Mais c'est pas grave c'est drôle...

[frgirard]

oui, des règles statistiques simples par rapport à la modélisation de la physique de l'atmosphère ou à la théorie quantique des champs par exemple. Tout ça pour dire qu'il ne faut pas non plus en faire un plat. La preuve : même des biologistes arrivent à
faire des tests statistiques, c'est dire (je suis physicien de formation, d'où ma pique, un peu private joke).

Un jour les biologistes se maîtront au math. c'était l'objectif de Gilbert Chauvet : Initier la mathématisation de la biologie.

Malheureusement il n'est plus là.

Francois

[tkfu]

oui, des règles statistiques simples par rapport à la modélisation de la physique de l'atmosphère ou à la théorie quantique des champs par exemple. Tout ça pour dire qu'il ne faut pas non plus en faire un plat. La preuve : même des biologistes arrivent à
faire des tests statistiques, c'est dire (je suis physicien de formation, d'où ma pique, un peu private joke).

Un jour les biologistes se maîtront au math. c'était l'objectif de Gilbert Chauvet : Initier la mathématisation de la biologie.

Malheureusement il n'est plus là.

Francois

Une bonne part des proba stats est issue des travaux de biologistes et généticiens

[frgirard]

oui, des règles statistiques simples par rapport à la modélisation de la physique de l'atmosphère ou à la théorie quantique des champs par exemple. Tout ça pour dire qu'il ne faut pas non plus en faire un plat. La preuve : même des biologistes arrivent à
faire des tests statistiques, c'est dire (je suis physicien de formation, d'où ma pique, un peu private joke).

Un jour les biologistes se maîtront au math. c'était l'objectif de Gilbert Chauvet : Initier la mathématisation de la biologie.

Malheureusement il n'est plus là.

Francois

Une bonne part des proba stats est issue des travaux de biologistes et généticiens

Je cites :

Si des théories physiques et mathématiques permettent de décrire la matière, il doit en être de même pour ce qui concerne la vie. Il faut bien qu'une explication rationnelle puisse nous faire comprendre l'harmonieuse complexité et le fonctionnement efficace d'un organisme vivant face au nombre énorme de mécanismes le composant.

http://www.biologie-integrative.com/

Francois

[corsario]

oui, des règles statistiques simples par rapport à la modélisation de la physique de l'atmosphère ou à la théorie quantique des champs par exemple. Tout ça pour dire qu'il ne faut pas non plus en faire un plat. La preuve : même des biologistes arrivent à
faire des tests statistiques, c'est dire (je suis physicien de formation, d'où ma pique, un peu private joke).

Un jour les biologistes se maîtront au math. c'était l'objectif de Gilbert Chauvet : Initier la mathématisation de la biologie.

Malheureusement il n'est plus là.

Francois

Une bonne part des proba stats est issue des travaux de biologistes et généticiens

Bof...

Kruskal et Wallis étaient mathématiciens et statisticiens. Bonferroni faisait des maths financières, Tukey était mathématicien et statisticien, ah, Fisher était mathématicien et agronome.

Les plans factoriels d'expériences, eux, viennent de l'industrie, où il fallait mettre au point des méthodes de tests avec le moins possible de perte de temps et donc d'essais mais que ça reste fiable quand même.

EDIT : autant pour moi, les plans d'expériences, c'est notre Fisher lui-même qui les a introduit dis-donc !

Il reviendra à Sir Ronald Fisher (1890-1962), un des fondateurs de la statistique inductive
moderne, d’introduire la notion de plan d’expérience. Il travaille à partir de 1919 dans une station
expérimentale agricole à Rothamsed en Angleterre. Il cherche à augmenter les rendements agricoles
en combinant type d’engrais, variétés de traitement, méthodes culturales, composition des sols. Il est
amené à faire de nombreuses expériences. Compte tenu de la précision qu’il veut obtenir, il veut en
réduire le nombre. En effet, il est physiquement impossible, vu le temps que cela prend, de réaliser
beaucoup d’expériences. Il faut donc qu’elles soient organisées de telle façon que l’on puisse tirer
de celles qui sont faites les informations utiles. Cela l’amène, en particulier, à utiliser des structures
mathématiques de nature arithmétique, géométrique, combinatoire, étudiées depuis l’antiquité, cf.
l’oeuvre de Diophante d’Alexandrie, jusqu’au XIXème siècle, et qui jusque là figuraient dans la
rubrique des récréations mathématiques. La plus célèbre est celle des carrés latins.

Que des mathématiciens et statisticiens donc, et un agronome. Yeah !
(mais bon, Fisher a une formation de mathématicien, donc il compte aussi comme un mathématicien, aller)

Mathematics rules

[corsario]

Et voilà la suite :

De l’agronomie la technique des plans d’expérience s’étendra à d’autres disciplines dont la
physique, la chimie. Mais son utilisation nécessitait des connaissances de statistique, de
mathématiques relativement peu répandues. La démarche qualité totale vise à atteindre des objectifs
en matière de qualité, coût et délai. Il faut donc rechercher le meilleur rapport : avantages tirés de
l’information/coût de l’information. Généchi Taguchi reprendra dans le cadre de la démarche
qualité totale la notion de plan d’expérience afin d’aider à la maîtrise de cette qualité dés la
conception des produits. A partir de 1975, il vulgarisera la méthode, publiera des tables
pratiquement utilisables, mettra au point de nouvelles procédures. Les chimistes, confrontés à des
phénomènes mettant en jeu un grand nombre de facteurs, seront des utilisateurs intensifs de la
méthode Taguchi et perfectionneront l’outil plan d’expérience.

Moi je croyais que c'était l'industrie chimique et automobile qui avait mis au point ça. Que nenni ! Ils l'ont juste rendu utilisable par tout un chacun ou presque.

Taguchi (le nom est bien connu de ceux qui utilisent les plans d'expérience) était ingénieur et... statisticien !

[JACBRU]

Encore une fois, le thème de ce file est sur "les tests en aveugle" et non pas sur la procédure ABX. J'ai le droit de parler d'autre chose que de l'ABX sans que l'on me tombe à bras raccourcis. Quand je parle de l'importance du nombre de sujets, je ne fais pas référence à l'ABX (relisez les messages avant de hurler!) mais aux tests comparatifs en général et aux tests de préférence qui sont parfois utilisés lorsqu'il est difficile de quantifier des variables à mesurer.
Dans les bouquins de référence sur le sujet, des chapitres entiers sont consacrés au calcul du nombre de sujets dans une expérimentation. Je vous fais grâce des formules mathématiques, tableaux et algorithmes divers en fonction du type de variable et de la méthodologie et je vous livre une phrase de conclusion du chapitre d'un de ces bouquins:
"if the sample size is too small, no conclusion whatsoever can be drawn as to the equivalence or the equality of the treatmments, although this mistake is often made either explicitly or implicitly..."
Je répondais en particulier là pour ma part à une "expérimentation" dans laquelle la préférence entre deux electroniques (l'une haut de gamme et l'autre bas gamme) n'avait pas été mise en évidence par les participants et je mettais en évidence qu'aucune conclusion ne pouvait être tirée de cette étude du fait du faible nombre de participants.

Contrairement à certains, je ne suis pas obsédé par l'ABX qui comme toute méthode a ses qualités et défauts et dont (avec d'autres) j'ai exposé certaines limites, tout en lui reconnaissant une certaine utilité dans un certain nombre de cas (je ne vais pas me répéter).

Si le but de certains est de faire un file intitulé "gloire à l'ABX", qu'ils le fassent, ils s'autocongratuleront, supprimeront les messages déviants, feront des concours d'ABX et se réuniront tous les 4 ans pour des olympiades.

Merci, je ne m'exprimerais pas autrement.
Pour le reste je jette l'éponge, certains devraient s'informer un peu avant de se faire experts dans un domaine beaucoup plus complexe qu'ils ne l'imaginent. On ne pourra causer de choses concrètes qu'après cette remise à niveau.

Ah, ah, ah....
D'après toi on ne fait pas de stats en biologie ? On ne fait pas de plans d'expérience ? Des stats paramétriques et non paramétriques ? Tu penses qu'on oublie de calculer la condition de puissance d'un test avant l'expérience ? Tu penses qu'on ne réfléchit pas pour savoir si on va faire un test de Bonferroni, Fischer ou Tukey ?
Si, si, si, on fait tout ça, et ça nous éclate même
Mais ça n'empêche pas de savoir reconnaître quand un cas est super simple, comme le test ABX en hifi pour prouver une différence...
Tu arrives avec tes certitudes et tu assènes tes livres. Et quand on t'apporte la contradiction et des arguments tu t'en vas en disant que de toutes façon on n'y connait rien. Mais si, si, si, on s'y connait

Je n'ai rien dit de tout cela, je n'arrive avec aucune certitude (au contraire j'essaie de rester assez général), je n'ai fait référence à aucun livre, je ne dénigre personne, j'essaie de faire simplement comprendre que lorsque l'on demande à une personne s'il y a une différence entre des écoutes, il y a aussi une partie de subjectivité dans sa réponse, que l'on a pas dans les tests biologiques.
Je te ferais aussi remarquer que j'ai expliqué mon expérience uniquement pour être compris, je n'ai, à mon age, aucune raison d'en rajouter. de ton côté, tu n'as rien dit de tes qualifications, ce qui aurait été utile à la discussion.
Dans ton activité professionnelle, tu fais des tests biologiques, sur des mesures objectives, pas sur l'opinion d'un bonhomme que tu aurais coupé en rondelles.

Maintenant, ce n'est pas par refus du "combat", mais parce que la saine et constructive discussion est difficile et parce que je n'ai pas grand chose à dire de plus au stade où on en est, j'ai terminé mon intervention sur cette "conversation". Je te ferais aussi remarquer qu'en aucun cas je ne me suis autocongratulé. Lis attentivement l'ensemble de mes interventions.

Dernière remarque, plus personnelle, essaies d'avoir un peu plus d'humour.

[corsario]

Encore une fois, le thème de ce file est sur "les tests en aveugle" et non pas sur la procédure ABX. J'ai le droit de parler d'autre chose que de l'ABX sans que l'on me tombe à bras raccourcis. Quand je parle de l'importance du nombre de sujets, je ne fais pas référence à l'ABX (relisez les messages avant de hurler!) mais aux tests comparatifs en général et aux tests de préférence qui sont parfois utilisés lorsqu'il est difficile de quantifier des variables à mesurer.
Dans les bouquins de référence sur le sujet, des chapitres entiers sont consacrés au calcul du nombre de sujets dans une expérimentation. Je vous fais grâce des formules mathématiques, tableaux et algorithmes divers en fonction du type de variable et de la méthodologie et je vous livre une phrase de conclusion du chapitre d'un de ces bouquins:
"if the sample size is too small, no conclusion whatsoever can be drawn as to the equivalence or the equality of the treatmments, although this mistake is often made either explicitly or implicitly..."
Je répondais en particulier là pour ma part à une "expérimentation" dans laquelle la préférence entre deux electroniques (l'une haut de gamme et l'autre bas gamme) n'avait pas été mise en évidence par les participants et je mettais en évidence qu'aucune conclusion ne pouvait être tirée de cette étude du fait du faible nombre de participants.

Contrairement à certains, je ne suis pas obsédé par l'ABX qui comme toute méthode a ses qualités et défauts et dont (avec d'autres) j'ai exposé certaines limites, tout en lui reconnaissant une certaine utilité dans un certain nombre de cas (je ne vais pas me répéter).

Si le but de certains est de faire un file intitulé "gloire à l'ABX", qu'ils le fassent, ils s'autocongratuleront, supprimeront les messages déviants, feront des concours d'ABX et se réuniront tous les 4 ans pour des olympiades.

Merci, je ne m'exprimerais pas autrement.
Pour le reste je jette l'éponge, certains devraient s'informer un peu avant de se faire experts dans un domaine beaucoup plus complexe qu'ils ne l'imaginent. On ne pourra causer de choses concrètes qu'après cette remise à niveau.

Ah, ah, ah....
D'après toi on ne fait pas de stats en biologie ? On ne fait pas de plans d'expérience ? Des stats paramétriques et non paramétriques ? Tu penses qu'on oublie de calculer la condition de puissance d'un test avant l'expérience ? Tu penses qu'on ne réfléchit pas pour savoir si on va faire un test de Bonferroni, Fischer ou Tukey ?
Si, si, si, on fait tout ça, et ça nous éclate même
Mais ça n'empêche pas de savoir reconnaître quand un cas est super simple, comme le test ABX en hifi pour prouver une différence...
Tu arrives avec tes certitudes et tu assènes tes livres. Et quand on t'apporte la contradiction et des arguments tu t'en vas en disant que de toutes façon on n'y connait rien. Mais si, si, si, on s'y connait

Je n'ai rien dit de tout cela, je n'arrive avec aucune certitude (au contraire j'essaie de rester assez général), je ne dénigre personne, j'essaie de faire simplement comprendre que lorsque l'on demande à une personne s'il y a une différence entre des écoutes, il y a aussi une partie de subjectivité dans sa réponse, que l'on a pas dans les tests biologiques.

mais ça c'est une évidence que personne ne nie. Sauf que ça n'a rien à voir avec un test ABX. Dans le test ABX on ne demande pas son avis à la personne, on ne lui demande pas s'il entend une différence ou pas. On lui demande de prouver qu'il entend cette différence en réussissant un certain nombre de fois un test binaire. Un test ABX réussi à 14/15 est un million de fois plus fiable qu'un test biologique avec un indice de confiance de 1%. Il n'y a pas une once de subjectivité là-dedans.

Je te ferais aussi remarquer que j'ai expliqué mon expérience uniquement pour être compris, je n'ai, à mon age, aucune raison d'en rajouter. de ton côté, tu n'as rien dit de tes qualifications, ce qui aurait été utile à la discussion.

Je ne vois pas en quoi ça aurait été utile. On parle de choses simples ici, et de statistiques simples.
D'autre part une qualification, un titre ou une expérience professionnelle ne remplacent pas un argument valide. Je ne crois pas à l'argument d'autorité. Je crois à la discussion argumentée et contre-argumentée.

Dans ton activité professionnelle, tu fais des tests biologiques, sur des mesures objectives, pas sur l'opinion d'un bonhomme que tu aurais coupé en rondelles.

Le test ABX ne teste pas l'opinion d'un quidam, il teste sa capacité à identifier deux système A et B. C'est très très objectif tu sais : soit il identifie bien, soit il se trompe. C'est binaire. C'est oui ou non. C'est gagné ou perdu. C'est binomial. On ne peut pas faire plus simple en stats. Vraiment pas.

S'il gagne 14 fois sur 15, la probabilité qu'il ait gagné par hasard est extrêmement faible

Maintenant, ce n'est pas par refus du "combat", mais parce que la saine et constructive discussion est difficile et parce que je n'ai pas grand chose à dire de plus au stade où on en est, j'ai terminé mon intervention sur cette "conversation". Je te ferais aussi remarquer qu'en aucun cas je ne me suis autocongratulé. Lis attentivement l'ensemble de mes interventions.

Je t'invite à lire attentivement ce qu'est un test ABX.



Cela dit, je sais bien que, quoi que je dise, quoi que je fasse, je serai critiqué... Mais moi vous savez, tout simplement, je veux prendre rendez-vous avec tous les gens qui m'attaquent. Je sais que les attaques et les critiques font partie du jeu sur un forum. Mais là, maintenant, je n'ai pas envie de me plaindre, j'ai envie d'agir. Et bien je veux prendre rendez-vous avec tous les gens qui m'attaquent, tous les gens qui s'interrogent, pour leur dire que c'est sur les actes, sur le fond, que je demanderais à être jugé et je rendrais des comptes sur ce que j'aurais réalisé.

[frgirard]

Cela dit, je sais bien que, quoi que je dise, quoi que je fasse, je serai critiqué... Mais moi vous savez, tout simplement, je veux prendre rendez-vous avec tous les gens qui m'attaquent. Je sais que les attaques et les critiques font partie du jeu sur un forum. Mais là, maintenant, je n'ai pas envie de me plaindre, j'ai envie d'agir. Et bien je veux prendre rendez-vous avec tous les gens qui m'attaquent, tous les gens qui s'interrogent, pour leur dire que c'est sur les actes, sur le fond, que je demanderais à être jugé et je rendrais des comptes sur ce que j'aurais réalisé.

tu veux te faire béatifier de ton vivant ?

Francois

[roland_de_lassus]

Cela dit, je sais bien que, quoi que je dise, quoi que je fasse, je serai critiqué... Mais moi vous savez, tout simplement, je veux prendre rendez-vous avec tous les gens qui m'attaquent. Je sais que les attaques et les critiques font partie du jeu sur un forum. Mais là, maintenant, je n'ai pas envie de me plaindre, j'ai envie d'agir. Et bien je veux prendre rendez-vous avec tous les gens qui m'attaquent, tous les gens qui s'interrogent, pour leur dire que c'est sur les actes, sur le fond, que je demanderais à être jugé et je rendrais des comptes sur ce que j'aurais réalisé.

T'es trop vieux, maintenant..

[corsario]

Cela dit, je sais bien que, quoi que je dise, quoi que je fasse, je serai critiqué... Mais moi vous savez, tout simplement, je veux prendre rendez-vous avec tous les gens qui m'attaquent. Je sais que les attaques et les critiques font partie du jeu sur un forum. Mais là, maintenant, je n'ai pas envie de me plaindre, j'ai envie d'agir. Et bien je veux prendre rendez-vous avec tous les gens qui m'attaquent, tous les gens qui s'interrogent, pour leur dire que c'est sur les actes, sur le fond, que je demanderais à être jugé et je rendrais des comptes sur ce que j'aurais réalisé.

T'es trop vieux, maintenant..

Ah, il y en a un qui suit

[Themisto]

Moi, j'ai rien compris à ce paragraphe...

[corsario]

Moi, j'ai rien compris à ce paragraphe...

oui mais toi tu es excusé car tu ne suis pas l'actualité de la famille royale :
http://fr.news.yahoo.com/63/20091013/tpl-jean-sarkozy-si-j-irai-jusqu-au-bout-5cc6428.html

C'était sur France 3... Il doit y avoir la vidéo quelque part...

EDIT : voilà la video. Et la réponse de Gérard Larcher, sénateur UMP.