Test en aveugle

[Themisto]

Alors, ma question est : combien de variables on mesure

Ceci dit, pour répondre à la question :

sérieusement, la principe d'indétermination d'Heisenberg on s'en fiche un peu ici... Notre oreille ne trace pas des spectrogrammes. Et il n'y a qu'elle (notre oreille) qui sert dans un test en aveugle.

Sinon pour Gabor c'est juste un problème de représentation si on veut définir précisemment à la fois la fréquence et le temps d'une part, et l'énergie associée d'autre part. Mais, encore une fois, notre oreille ne fait pas de représentation...

Pour ceux qui veulent en savoir plus, c'est expliqué ici avec deux exemples (attention, maths inside)

Ce n'est pas mon interprétation des tests:
On essaye de mesurer si l'auditeur "observe" X. X étant "la différence entre A et B".

Donc, si le "constat" était le produit d'une seule variable (je ne sais pas moi, par exemple, la pression acoustique), alors, le principe n'aurait rien à faire ici, je te l'accorde.
Néanmoins, il me semble, que le "constat" dans notre cas est un amalgame de variables indéterminées.
-Indéterminé dans le nombre (combien d'éléments l'auditeur a pris en compte pour le "constat" n°14 ? Et pour le 2 ? et pour les autres questions ? Le même nombre ? combien de paramètres réels, objectifs ont été modifiés entre deux "observations" ? L'observation porte-t-elle rééllement sur X ou sur une interaction de X avec autre chose ? )
-Indéterminé dans le temps (à quel moment a-t-il essayé de tirer le "constat" ? Toujours au même moment ? )


En d'autres termes, on essaye de faire une "observation" sans connaître ni le nombre de variables, ni leur interaction, ni rien.
Et qui plus est en faisant fi de la théorie qui régie une telle observation (de variables multiples, le fameux principe).

Donc, on peut dire qu'on s'en fiche de la théorie, mais alors, pour moi ça équivaut se dire qu'on s'en fiche du résultat.

Je me suis trompé où ?

[Themisto]

cool themisto

je pense que corsario est un peu énervé par les dérives du nabot président. ça ressort ici.


laurent, comme corsario.

Bon, oki, je me suis emporté aussi, les histoires de la famille royale ne m'intéressent guère. Désolé.

[onovno]

édité par USB...

[Themisto]

Excusez moi de m'immiscer dans votre conversation.
Le principe des études est "une question, un seul critère de jugement" .
Lorsque ce critère peut être évalué objectivement il correspond généralement au résultat d'une mesure physique spécifique.
Dans certains cas plusieurs paramètres objectifs bien déterminés peuvent être pris en compte, mais il faut alors obligatoirement choisir un critère principal d'évaluation pour l'étude.
Si les paramètres sont multiples et plus ou moins cernés, alors on peut faire appel à l'appréciation subjective d'un "cobaye". En fait cette appréciation est en quelques sortes, l'assemblage, la globalisation, sous un seul paramètre de toutes les variables à évaluer.
Dans tous ces cas, subjectivité ou pas, le principe, une question, un critère principal d'évaluation, reste plus que conseillé. On doit pouvoir assurer que les pré-requis de l'étude correspondent bien au critère principal d'évaluation. Par contre, ce serait un hasard s'ils correspondaient aussi aux éventuels critères secondaires de l'étude.

Je vous en prie, immiscez ! On est là pour échanger des points de vue et essayer de voir plus clair.

Il me semble que la globalisation sous un seul paramètre de quelque chose qui n'est pas préalablement un consensus largement accepté en audio (il n'y a qu'à voir le nombre d'interprétations possibles pour "transparent": il doit y avoir autant d'avis que de membres ici) est compromettant pour le résultat (mais je me trompe peut-être).
Surtout, qu'on n'est pas tous égaux devant les stimuli, comme vous disiez avant.

Pour ma part, je crois effectivement à la pertinence d'un test d'évaluation d'un seul critère. Sous réserve du consensus sur la réalité du critére.

[tkfu]

Certes, bien sûr.
Mais on cherchait des équivalents de la myopie par exemple. La myopie ou le strabisme sont des troubles fonctionnels de l'oeil, pas du cerveau. On cherchait s'il existait la même chose pour l'oreille.
Je me répondais à moi-même en quelque sorte, en nuançant et en remarquant que l'amusie ou la dysmusie sont des troubles du cerveau alors que la presbyacousie est un trouble de l'oreille.

On l'a déjà dit hypoacousie fonctionnelle, presbyacousie. je ne vois pas trop où tout cela peut mener. Mon métier actuel, l'information scientifique et stratégique pour les industries de la santé. On peut toujours faire une recherche bibliographique sur le sujet, mais dans quel but ?
L'important c'est se poser une question concrète dans le domaine électro-acoustique et de réfléchir sur le ou les moyens d'y répondre.

Que les troubles affectent l'oreille et/ou le cerveau, le résultat est le meme sur la perception de l'auditeur, impossible de les séparer la question à laquelle il doit etre répondu est: exist-t-il une variabilité de la perception auditive et ce meme apres la répétition rapprochée d'un meme morceau (saturation partielle ou autre phénomène de mémoire déformant...)?

Si un tel phénomène existe, il constitue un biais important dans le principe de l'abx.

Si des affections variées et à des degrés divers, existent dans la perception des sons, donc à chacun ses défauts auditifs, il serait fortuit de trouver des résultats identiques ou meme approchant pour des groupes hétérogènes.

[Pio2001]

Je crois qu'il n'est pas inutile de ramener la discussion à son sujet... que l'on a quitté depuis bien longtemps !

Les tests ABX en audio n'ont rien à voir avec la moindre étude statistique. Il existe certaines connaissance sur l'audition humaine. Or, la majorité des CR d'écoute en hifi contredisent de façon flagrante ces connaissances. 3 fois sur 4, un auditeur affirme entendre des différences 10 ou 100 fois inférieures aux seuils audibles connus.

Le principe est simple : c'est à celui qui affirme l'existence d'un phénomène nouveau ou allant à l'encontre des connaissances établies d'en apporter la preuve, et affirmation extraordinaire nécessite preuve extraordinaire.

C'est la raison d'être de l'ABX double aveugle en audio.

[Themisto]

Le principe est simple : c'est à celui qui affirme l'existence d'un phénomène nouveau ou allant à l'encontre des connaissances établies d'en apporter la preuve, et affirmation extraordinaire nécessite preuve extraordinaire.

Ca tombe bien. Justement, le test de la "preuve extraordinaire" on se demande ce qu'il mesure exactement : le phénoméne ? celui qui affirme ? l'affirmation de l'existence passée ? la reproductibilité ? quelles variables mesure-t-il ? .
Comme tu peux voir, le débat est pile dans l'axe.
Et donc... je disais : il mesure combien de variables ce fameux test ?

(ce qui est sûr: il ne mesure pas la différence de voltage maxi des sources, vu qu'on est censés la régler avant)

[Pio2001]

Ca tombe bien. Justement, le test de la "preuve extraordinaire" on se demande ce qu'il mesure exactement

Qu'est-ce qui ne te vas pas dans la réponse "la capacité de l'auditeur à identifier le son" ?

[frgirard]

Le principe est simple : c'est à celui qui affirme l'existence d'un phénomène nouveau ou allant à l'encontre des connaissances établies d'en apporter la preuve, et affirmation extraordinaire nécessite preuve extraordinaire.

Ca tombe bien. Justement, le test de la "preuve extraordinaire" on se demande ce qu'il mesure exactement : le phénoméne ? celui qui affirme ? l'affirmation de l'existence passée ? la reproductibilité ? quelles variables mesure-t-il ? .
Comme tu peux voir, le débat est pile dans l'axe.
Et donc... je disais : il mesure combien de variables ce fameux test ?

(ce qui est sûr: il ne mesure pas la différence de voltage maxi des sources, vu qu'on est censés la régler avant)

l'ABX audio ne mesure rien. Ne calcule rien. n'équationne rien. c'est une méthode applicable la dégustation du ghozzono.

L'auditeur en utilisant un protocol définit comme ABX audio cherche à DETECTER des différences entre deux éléments.

Ce qui est plus important (ce qui a été déjà dit par d'autre dans ce sujet) et sur lequel il serait bon de ne pas passer.

- l'entrainement à l'écoute.
- Quoi utiliser comme signale sonore pour faire le test.


Francois

[ogobert]

Le principe est simple : c'est à celui qui affirme l'existence d'un phénomène nouveau ou allant à l'encontre des connaissances établies d'en apporter la preuve, et affirmation extraordinaire nécessite preuve extraordinaire.

C'est la raison d'être de l'ABX double aveugle en audio.

Malheureusement ca fait longtemps que ce n'est plus le cas, quand on voit fleurir les "ouais mais t'a pas fait le test en ABX" a tous les coin de topic chaque fois que quelqu'un dit qu'il a choisit quelque chose...

[Denis31]

C'est juste que ce forum regorge d'EXPLOITS EXTRAORDINAIRES.

[expertdoc]

Le principe est simple : c'est à celui qui affirme l'existence d'un phénomène nouveau ou allant à l'encontre des connaissances établies d'en apporter la preuve, et affirmation extraordinaire nécessite preuve extraordinaire.

C'est la raison d'être de l'ABX double aveugle en audio.

Malheureusement ca fait longtemps que ce n'est plus le cas, quand on voit fleurir les "ouais mais t'a pas fait le test en ABX" a tous les coin de topic chaque fois que quelqu'un dit qu'il a choisit quelque chose...

+1, c'est aussi ce qui m'est particulièrement pénible.

D'autre part faudrait il encore que le protocole ABX audio soit reconnu comme susceptible d'apporter une quelconque preuve, avis qui n'est partagé que part ses adorateurs, d'où pour les autres la raison d'être devient plutôt celle de ne pas être.

[Pio2001]

quand on voit fleurir les "ouais mais t'a pas fait le test en ABX" a tous les coin de topic chaque fois que quelqu'un dit qu'il a choisit quelque chose...

Ce point est du ressort de la modération, qui a été assez stricte à ce sujet : De l'objectivisme et du subjectivisme
Lorsqu'un commentaire non constructif de ce genre vient polluer un topic, il est toujours possible de le signaler en s'appuyant sur la note ci-dessus.

D'autre part faudrait il encore que le protocole ABX audio soit reconnu comme susceptible d'apporter une quelconque preuve, avis qui n'est partagé que part ses adorateurs, d'où pour les autres la raison d'être devient plutôt celle de ne pas être.

Absurde : l'idée fausse qu'un ABX échoué puisse prouver qu'une différence n'existe pas est tellement ancrée dans l'inconscient collectif qu'elle en est venue à être considérée comme une conclusion mathématique du nombre de réponses données. Bien sûr que non. C'est juste que lorsque quelqu'un se trompe, c'est qu'il n'a pas entendu la différence. Et s'il croyait l'avoir entendue, alors c'était une mauvaise impression etc.
Je disais ci-dessus que lorsqu'une différence extraordinaire est affirmée, il faut la confirmer en double aveugle pour que l'affirmation soit prise au sérieux par rapport à ce qu'on sait de l'audition humaine, dans une discussion de fond, je veux dire. On n'oblige aucun audiophile à discuter sans arrêt des seuils d'audition humaine. Or pour cela, c'est un ABX positif, qu'il faut, non un négatif. Et le positif prouve que la différence est perçue de façon très simple.

Je suis surpris que ces points évidents soient encore incompris. Peut-être est-ce que je manque de recul sur la procédure ABX. Est-ce qu'un article d'introduction simple serait utile ? Est-ce qu'il s'agit d'un problème de compréhension du protocole ? Ou bien est-ce autre chose ?

[herve25]

Je pense qu'une partie des frustrations est liée au fait que sur ce post, un certain nombre de participants (dont moi-même) parle des tests en aveugle en général (comme le titre du file le suggeste) alors que d'autres parlent essentiellement de la procédure de type ABX. Je ne suis pas opposé à cette dernière, elle est souvent utile et j'en ai expliqué ce que j'estime être ses limites. Ce qui la dessert parfois sont ses détracteurs absolus qui ne lui accordent aucun crédit ainsi que des thurérifaires qui veulent lui en faire dire plus que ce qu'elle ne dit. La méthode ABXest une méthode en aveugle mais il existe bien d'autres méthodes en aveugle pour juger en audio.


Tout dépend du problème posé. Supposons que je sois un constructeur d'enceintes grand public et qui commercialise le modèle SUPERSOUND qui se vend bien. J'ai procédé à des modifications à ce modèle qui je pense seront appréciées des auditeurs. Je vais effectuer un test de préférence (en aveugle) chez un certain nombre de participants. Sur 100 auditeurs, 30 vont préférer l'ancien modèle, 60 le nouveau et 10 sont sans préférence. Il existe une différence statistique significative en faveur du nouveau modèle , ce qui va m'encourager en tant que constructeur à le commercialiser. Rien ne prouve dans ce test que le nouveau modèle soit plus "FIDELE" ou "SUPERIEUR" à l'ancien. Peut-être même lui est il inférieur auprès d'un public averti. Mon marché c'est le "grand public" là où Il sera davantage apprécié, ce qui va favoriser ses ventes. Si moi, Herve 25, ai préféré l'ancien modèle n'a guère d'importance puisque je suis dans la minorité.
On aura fait un test en aveugle pour répondre à une question précise qui n'a rien à voir avec l'ABX.

[Pio2001]

Je vais effectuer un test de préférence (en aveugle) chez un certain nombre de participants. Sur 100 auditeurs, 30 vont préférer l'ancien modèle, 60 le nouveau et 10 sont sans préférence.

Je suis bien d'accord, mais dans la pratique, regarde le genre de résultats typiques qu'on obtient : http://www.matrixhifi.com/contenedor_ppec_eng.htm
37 % préfèrent A, 26 % préfèrent B, et 37 % sont sans opinion. Et à part avec des enceintes, on ne voit pas comment ils auraient pu trouver des systèmes plus dissemblables.

D'autre part, lorsque les auditeurs sont entraînés au préalable, la reproductibilité de leurs réponses croît de façon spectaculaire (voir l'article sur le blog de Sean olive, je ne peux pas poster de lien, le proxy du boulot bloque son blog).

Par conséquent, il est bien plus efficace de proposer d'abord un test ABX à chaque auditeur, et de ne conserver pour l'étude de préférence que ceux qui l'ont réussi. On est gagnant à tous les coups : si les ABX échouent, et si ils ont été organisés dans des conditions suffisamment bonnes pour les auditeurs (c'est le point le plus délicat, le taux de faux négatifs peut être très élevé en ABX audio), alors la modification apportée n'est pas très intéressante.
Si les ABX réussissent, on pourrait dire à la limite qu'il n'est même plus nécessaire de faire une étude statistique : on peut directement analyser les CR d'écoute des auditeurs.

On le voit dans l'organisation des tests publics ABC/HR sur Hydrogenaudio (un équivalent perfectionné de l'étude de préférence que tu proposes) : ils sont restreints à un débit d'encodage de 128 kbps. Au-delà, impossible de dégager des résultats statistiquement significatifs.
Les études statistiques marchent très bien pour les bas débits (< 128 kbps). Pour les hauts débits, seuls des tests individuels, avec des auditeurs surentraînés, ont pu apporter des résultats significatifs.

Or dans la hifi, en dehors des enceintes, tous les appareils testés présentent des différences inférieures ou égales à celle d'un encodage 128 kbps, c'est-à-dire équivalentes à un plus haut débit. C'est pourquoi l'ABX individuel est largement préféré à l'étude statistique.