Groupe de travail "Tests d'écoute en aveugle"

[usa_satriani]

Les tests en aveugle avec protocole "statistique" derrière sont rarissimes.

Aucun test ne semble avoir été fait de façon mathématique.
Ensuite un test ou on englobe du monde restera toujours un test.
A chacun de se faire son test.

[nico-]

J'ai vu sur ton site que tu avais des petits câbles vendus au mètre. Et à un tarif abordable. Ce serait bien d'en proposer quelques-uns pour mettre dans un futur lot de câbles qui pourrait circuler au niveau association. C'est jouable ?

Oui j' ai rentré il y a un moment deja des cables très abordables et qui marchent bien, du cable HP pro de marque Proel, des interco Vampire et quelques autres...
Pour ce qui est du prêt à l' asso je t' avoue que je ne suis pas plus chaud que ca... je trouve que les gens sont de moins en moins "objectivistes" comme ils disent mais de plus en plus intolerants (en regle generale, ca n' est pas le cas de tout le monde bien evidement)...

Perso je trouve dommage que tu ne tentes pas (au moins une fois) de jouer le jeu nico : Keron te propose de d'inclure dans un package de test un cable selectionné par tes soins. Ce serait l'occasion d'étayer tes propos tu ne crois pas?.... Alors qu'en refusant de te prêter au jeu ca donne vraiment l'impression (pour le coup je vais être franc) que tu as peur d'un résultat qui te serait défavorable. Certes tu sembles craindre que ton cable se fasse descendre parce que c'est le tien, et franchement je ne pense pas que ce soit dans l'esprit du forum, ou pour dire les choses telles qu'elles sont, que les testeurs se montrent aussi bêtes.

Bref, si tout le monde jouait le jeu sur ce coup je pense qu'on aurait tous a y gagner.

A+

Dawid

Je n' ai rien à prouver sur le forum, les produits que je vends non plus.

Tu auras aussi remarqué que j' ai déserté les Bons Plans depuis un moment hormis pour vendre mon matos perso, que je ne fais plus de CR sur les produits que je vends (et c' est pas toujours evident car si je les vends c' est que je les trouve bons), je me contente d' intervenir quand je lis des trucs que je trouve etre à l' opposé de mon experience, ou de donner des conseils de temps en temps quand je sais de quoi je parle (enfin au moins j' essaie).

En gros je n' ai rien à gagner ni rien à perdre, juste plus trop envie de me preter au jeu car je trouve l' ambiance un poil pesante de temps en temps... se faire traiter de facho ou de partisan du FN sur un forum hifi je crois que c' est assez delirant.

[Pio2001]

Les tests en aveugle avec protocole "statistique" derrière sont rarissimes.

Aucun test ne semble avoir été fait de façon mathématique.

Ils ont une page avec leur protocole. C'est de l'ABX en 10 essais avec comme condition de succès 9 bonnes réponses au moins. Je n'ai pas compris si tous les auditeurs ou un seul devait avoir 9/10.
Si c'est un seul, alors aucun de leurs résultats n'est significatif. Il est normal d'avoir quelques succès dus au hasard sur 35 tests, tous réalisés avec plusieurs auditeurs.
En fait c'est la moyenne s'il y a 12 auditeurs à chaque test.

[usa_satriani]

Oui mais personne ne parle de la modélisation de la réponse.

Apparemment on prend un loi de Bernouilli là ou j'aurais pris une Gaussienne.

Ensuite normalement on fixe l'erreur de première espèce et on en déduit le nombre de tirage pas l'inverse.

[Pio2001]

Oui mais personne ne parle de la modélisation de la réponse.

Apparemment on prend un loi de Bernouilli là ou j'aurais pris une Gaussienne.

Ensuite normalement on fixe l'erreur de première espèce et on en déduit le nombre de tirage pas l'inverse.

Mes cours de probas sont trop loins pour que je te comprenne bien. Mais la méthode qu'on utilise ici est simple. Le protocole est mis au point de telle sorte que tous les tirages possibles soient équiprobables. On dénombre tous les tirages possibles, et tous les tirages gagnants.
La probabilité de tomber par hasard sur un tirage gagnant, notée p, est égale au nombre de tirages gagnants possibles divisé par le nombre total de tirages possibles.
C'est ça que tu appelles une distribution de Bernouilli ? En quoi une gaussienne serait plus adaptée ?

[usa_satriani]

De toute façon on est d'accord sur le fond :
Bcp de réponses justes, vont donner un test satisfaisant.
Prendre tout le monde dans le même panier va tirer le tout vers le bas, logique.
Prendre chacun individuellement pourrait nous renseigner sur exsite-t-il certaines personnes plus douées que d'autres mais non car on a trop de personnes pour que le hasard ne nous donne pas une très bonne série.
Moi mon truc de loi Gaussienne serait pou un grand nombre d'individus, plutôt bon. Ca nous ferait une joli cloche centré sur la moyenne, si cette moyenne est supérieure à une certaine valeur (presque ton paramètre p) c'est bien. Là en plus on aurait la notion de variance, si la cloche est étroite, c'est bien tout le monde se comporte à peu près pareil, si la variance est grande c'est un peu aléatoire.
Je pense que sûr des choses subtiles (comme les cables ) ces protocoles ABX sont trop sévères, autant OK pour dire que une moyenne de 0.5 est pas bien mais une moyenne de 0.75 avec une variance petite pourrait apporter des informations.

Le top du top serait de faire du multivariable (ampli, type de musique, type d'individu,...) et de faire une ACP, on aurait peut-être les Audiophiles à côté de leur classique

[Pio2001]

Moi mon truc de loi Gaussienne serait pou un grand nombre d'individus, plutôt bon. Ca nous ferait une joli cloche centré sur la moyenne, si cette moyenne est supérieure à une certaine valeur (presque ton paramètre p) c'est bien.

Le paramètre p n'est pas une moyenne du tout. C'est la probabilité pour que le score soit supérieur ou égale à une certaine valeur. Il y a de nombreux scores différents correspondant à un même p. La distribution des plus petits p correspondants à chaque score est tout sauf gaussienne.

Là en plus on aurait la notion de variance, si la cloche est étroite, c'est bien tout le monde se comporte à peu près pareil, si la variance est grande c'est un peu aléatoire.

Rien ne nous empèche de calculer cette variance. Seulement pour l'instant, on a bien trop peu de résultats. Cinq seulement.

Je pense que sûr des choses subtiles (comme les cables ) ces protocoles ABX sont trop sévères,

On les a déjà abandonnés. On a fait un truc qu'on pourrait appeler XX/XY, et vous on pourrait dire que c'était du AB/BA. Seul JV Serinus a fait de l'ABX avec les câbles secteurs (et les espagnols avec le reste, a priori).

autant OK pour dire que une moyenne de 0.5 est pas bien mais une moyenne de 0.75 avec une variance petite pourrait apporter des informations.

Cela ne voudrait rien dire. Le paramètre fondamental est la "probabilité de faire au moins aussi bien par hasard". On a deux cas de figures. Ou bien les auditeurs passent le test en même temps, et alors on fait le calcul que j'avais indiqué avant le premier test : p = probabilité pour qu'un auditeur au moins obtienne un p individuel inférieur ou égale à un seuil donné. Ou bien ils passent le test séparément, et on fait comme s'il s'agissait d'un seul auditeur ayant passé successivement tous les tests. Dans le second cas, on doit nécessairement s'interdire de visualiser les résultats tant que le dernier auditeur n'a pas donné sa dernière réponse, sauf si le nombre d'auditeurs et d'écoutes est fixé à l'avance.
Dans tous les cas, ou évite de polluer les statistiques avec des échecs en effectuant un filtrage préalable. Seuls sont autorisés à passer le test les auditeurs qui ont prouvé dans des écoutes d'essai qu'ils pouvaient obtenir un bon score.

Le top du top serait de faire du multivariable (ampli, type de musique, type d'individu,...) et de faire une ACP, on aurait peut-être les Audiophiles à côté de leur classique

C'est quoi une ACP ? Parce que le multivariable, ça devient hyper compliqué. Si on n'y prend pas garde, on est pratiquement sûrs de trouver une combinaison ampli / musique / individu parmi les centaines qui existent pour laquelle les chiffres seront individuellement significatifs, même dans le cas d'un tirage au hasard. Et si on en n'a pas, il suffit d'en inventer de nouvelles jusqu'à ce qu'on trouve une série de paramètres croisés qui nous donnent le résultat qui nous arrange.

Pour l'instant, c'est déjà l'enfer pour trouver une seule personne pour faire une seule écoute.

[usa_satriani]

Le paramètre p n'est pas une moyenne du tout. C'est la probabilité pour que le score soit supérieur ou égale à une certaine valeur. Il y a de nombreux scores différents correspondant à un même p. La distribution des plus petits p correspondants à chaque score est tout sauf gaussienne.

Alors p est mal choisi en général c'est le paramètre de la loi Bernouilli B(p)

Je suis sur que si tu prends en abscisse le nb d'individus et en ordonnées les bonnes réponses tu as une gaussienne, comme pour la taille et le poids.

Rien ne nous empèche de calculer cette variance. Seulement pour l'instant, on a bien trop peu de résultats. Cinq seulement.

Dans mon cas elle ne calculerait pas mais s'estimerait, c'est pas pareil.

C'est quoi une ACP ? Parce que le multivariable, ça devient hyper compliqué

Analyse en composantes principales, justement ça permet de prendre plusieurs variables et de tirer 2 grands axes :
http://www.ulg.ac.be/pedaexpe/cours/glosaire/acp.htm

En fait nous ça serait plus une AFC mais c'est pareil ou presque :
http://134.59.31.3/~brunet/PUB/hyperwin/analyse.html

Ce qui est intéressant c'est qu'on a des informations sur le global mais aussi sur chaque individu.

[Pio2001]

Je suis sur que si tu prends en abscisse le nb d'individus et en ordonnées les bonnes réponses tu as une gaussienne, comme pour la taille et le poids.

Tu as, entre 0 et N, le nombre de combinaisons de x éléments parmi N.
Maintenant, est-ce que cela tend vers une gaussienne quand N tend vers l'infini, je n'en sais rien du tout !

[usa_satriani]

Si tu pars du principe que c'est du hasard ça sert à rien de tester lol.

Ensuite une loi Binomial tend bien vers une loi Normale, comme bcp de choses c'est pour ça qu'on l'utilise autant.

[Pio2001]

Il faut bien modéliser le hasard, si on veut prouver que le succès n'est pas dû à celui-ci !

[usa_satriani]

mouai je pense qu'on a deux conceptions du truc totalement différente d'ou la non compréention de chacun pour le truc de l'autre.

[Pio2001]

Le principe est le suivant, on fait des écoutes pour prouver qu'il y a une différence entre deux stimulus.
A chaque écoute, le sujet a le choix entre deux réponses (en ABX, X=A, ou X=B), la bonne réponse ayant été préalablement tirée au sort (X=A ou B).
Le sujet peut la trouver s'il reconnaît le stimulus (il reconnaît X), ou par hasard (il écoute son instinct, qui ne lui dit rien).

En cas de succès, pour savoir si le sujet a reconnu le stimulus ou s'il a répondu au hasard, on considère la vraisemblance de ces deux hypothèses, et c'est la plus vraisemblable qui l'emporte.

La vraisemblance de la première hypothèse est subjective. Reconnaître le son de deux câbles de modulation, il y a 100 % de chance que ça marche à tous les coups pour certains, une chance sur un million pour d'autres.

La vraisemblance de la seconde est donnée par la somme des probabilités d'obtenir le score du sujet, et tous les scores supérieurs (qui correspondent au même évenement : réussite du test). Calcul basé sur la distribution binômiale.

Plus de détails : http://www.homecinema-fr.com/forum/view ... #168246580

[usa_satriani]

vi vi j'ai très bien lu toutes tes explications.

[Pio2001]

BoraBora lance l'organisation d'un test en aveugle d'amplificateurs sur Paris : http://chaud7.forum-gratuit.com/viewtopic.php?t=103