Test en aveugle

[Pio2001]

Mais tu ne l'auras pas, 1000 essais c'est insuffisant à moins d'avoir le c... bordé de nouilles

Si je fais 1000 fois 15 écoutes, j'ai une chance sur deux d'avoir une série de 14/15, et bien davantage si je le fais en séquentiel, c'est-à-dire en cherchant juste une série de 14 bonnes réponses, où qu'elle soit.

[JACBRU]

Évaluer des données subjectives est un métier qui s'apprend

Mais les ABX absolus ne sont justement pas là pour évaluer des données subjectives! impossible d'échanger si ce principe n'est pas pris en compte.
Je parle depuis le début des résultats certains, définitifs. Dont le but des tests ABX est justement d'avoir la capacité et l'énorme avantage de rejeter tout ce que porter la subjectivité, c'est à dire la non certitude des résultats.
Si on n'est pas d'accord là dessus, on sera toujours à discuter de choses différentes.
Si vous acceptez l'immission d'éléments subjectifs, vous devez accepter que vous ne pourrez jamais porter de conclusion certaine et définitive. C'est votre droit de ne pas désirer cette certitude. Mais si vous la désirez, si vous la proclamez, tous les éléments subjectifs, la prise en compte des résultats négatifs, l'analyse pondérée des résultats et l'utilisation de statistiques sont incompatibles avec la certitude du résultat.Vous faites alors des études, pas une exploration de la nature stricte des éléments étudiés

Je viens d'interroger Google sur "test ABX absolu". C'est rigolo, il y a trois pages de références, elles concernent toutes notre discussion, pourquoi ?
Mais la crédibilité de la conclusion existe, dans les conditions aboutissant à un "p" fiable, en règle <5%.

[AbsoluteSound]

Je ne comprends pas le sens de cette remarque.
De quels raisonnements scientifiques et de quels raisonnements commerciaux parles-tu ?

Simple ressenti global des choses...

Bravo grand x d'etre le premier à réagir...

[raouf]

Mais tu ne l'auras pas, 1000 essais c'est insuffisant à moins d'avoir le c... bordé de nouilles

Si je fais 1000 fois 15 écoutes, j'ai une chance sur deux d'avoir une série de 14/15, et bien davantage si je le fais en séquentiel, c'est-à-dire en cherchant juste une série de 14 bonnes réponses, où qu'elle soit.

En "séquentiel", c'est de la triche bien sûr.
Sinon quel est le calcul à faire pour trouver "Si je fais 1000 fois 15 écoutes, j'ai une chance sur deux d'avoir une série de 14/15" ? je pensais que c'était beaucoup moins mais les cours de stat sont loin...

[grand x]

Je ne comprends pas le sens de cette remarque.
De quels raisonnements scientifiques et de quels raisonnements commerciaux parles-tu ?

Simple ressenti global des choses...

Bravo grand x d'etre le premier à réagir...

Ca n'explique toujours pas. il semble y avoir des sous entendus, mais lesquels?
Que veux tu dire sans le dire ?

[raouf]

Je ne comprends pas le sens de cette remarque.
De quels raisonnements scientifiques et de quels raisonnements commerciaux parles-tu ?

Simple ressenti global des choses...

Bravo grand x d'etre le premier à réagir...

En l'occurrence, les rôles sont plutôt inversés : c'est le commerçant qui défend les tests qui sont susceptibles de mettre à mal son commerce...

[tkfu]

Les biais (est-ce vraiment le terme adapté d'ailleurs, tant ce mot semble chargé de sens polémique ? ) qui font qu'un ABX donne un résultat négatif sont assez facilement identifiables même pour le non spécialiste que je suis :

veinard



- culture du son pas assez développée (comment entendre ce que l'on ne connait pas).meme des musiciens se font planter en ABX-

phénomène de groupe en cas d'ABX collectif (mimétisme biais grossier qui peut etre facilement évité par la confidentialité en cours de test, découragement contagieux ou de l'inconvenient de l'abx en équipe expansive un peu de sobriété devrait etre facile à obtenir non?, un abx représente un résultat perso). Moi qui croyait vos protocoles blindés question biais


c'est pas ds la poche l'abx avec tous ces biais


Je pense que c'est aussi pour tenir compte de ces biais qui ne sont pas prévus par le protocole ABX que nous sommes si mesurés quand aux conséquences d'un ABX négatif (ici et maintenant, telle personne n'a pas entendu de différences entre ces deux appareils).

En revanche, une fois qu'un ABX est positif, compte tenu du faible taux de probabilité que sa réponse soit le fait du hasard, j'avoue ne pas saisir l'importance que vous accordez aux éventuels biais qui pourraient entrainer la réussite du-dit ABX et j'avoue humblement ne même pas réussir à appréhender quels pourraient être ces biais ?

[grand x]

Je viens d'interroger Google sur "test ABX absolu". C'est rigolo, il y a trois pages de références, elles concernent toutes notre discussion, pourquoi ?
Mais la crédibilité de la conclusion existe, dans les conditions aboutissant à un "p" fiable, en règle <5%.

Tu parles de fiabilité sur le résultat sur les matériels, ou sur les perceptions ?
Si c'est des ABX sur les matériels, et qu'on est en tests absolus, la fiabilité des tests réussis est bien plus fine que ça avec nos 14 bonnes réponses sur 15.
Pour les études, je n'en sais rien, ce n'est pas mon propos, et je te reconnais alors des connaissances que je n'ai pas (statistiques, conditions, types d'analyses des résultats, ...)

[haskil]

Je ne comprends pas le sens de cette remarque.
De quels raisonnements scientifiques et de quels raisonnements commerciaux parles-tu ?

Simple ressenti global des choses...

Bravo grand x d'etre le premier à réagir...

En l'occurrence, les rôles sont plutôt inversés : c'est le commerçant qui défend les tests qui sont susceptibles de mettre à mal son commerce...

Mieux : GrandX a même pris le risque d'en accueillir en son auditorium ! Je le sais, j'en étais : et malgré le switch j'en ai vu reconnaître un appareil d'un autre... tant qu'ils savaient lequel ils écoutaient. Et qui ne le reconnaissaient plus ensuite quand ils ne savaient plus lequel ils écoutaient...

Et GrandX parle en exprimant les doutes qu'ils lui inspirent, ces tests ABX, sans pour autant les évacuer d'un revers de main comme le font d'autres forumeurs qui les démolissent sans jamais en avoir fait un, eut-il était imparfait dans l'organisation qu'au moins, ils auraient essayé : ça rend modestes les oreilles d'or surlecutées par un changement de câble secteur...

[JACBRU]

Je suis revenu de voir le défilé ...
J'ai l'impression que l'un parle des biais dans le cas d'un ABX négatif et l'autre parle des biais dans le cas d'un ABX positif.
Les biais (est-ce vraiment le terme adapté d'ailleurs, tant ce mot semble chargé de sens polémique ? ) qui font qu'un ABX donne un résultat négatif sont assez facilement identifiables même pour le non spécialiste que je suis :
- culture du son pas assez développée (comment entendre ce que l'on ne connait pas).
- phénomène de groupe en cas d'ABX collectif (mimétisme, découragement contagieux).
Je pense que c'est aussi pour tenir compte de ces biais qui ne sont pas prévus par le protocole ABX que nous sommes si mesurés quand aux conséquences d'un ABX négatif (ici et maintenant, telle personne n'a pas entendu de différences entre ces deux appareils).
En revanche, une fois qu'un ABX est positif, compte tenu du faible taux de probabilité que sa réponse soit le fait du hasard, j'avoue ne pas saisir l'importance que vous accordez aux éventuels biais qui pourraient entrainer la réussite du-dit ABX et j'avoue humblement ne même pas réussir à appréhender quels pourraient être ces biais ?

Tout d'abord le mot "biais" est communément utilisé par les statisticiens pour parler de tous les facteurs pouvant modifier la crédibilité des conclusions d'une étude. Les protocoles doivent, autant que possible préciser les conditions de mise en place, de réalisation et d'analyse de l'étude pour éviter autant faire se peux les biais. En tous cas, l'évaluation finale tient compte des impondérables résiduels en évaluant la probabilité de se tromper dans les conclusions par rapport à la réalité.
Il est clair que la surdité de tous les participants n'est pas une éventualité impensable. Mais elle est certainement une raison d'être dans le cas de conclusions qui ne seraient pas la réalité de la perception par une population sélectionnée représentative de la population générale. Il est certain, par exemple, que sélectionner des auditeurs âgés de 15 à 40 ans, éventuellement uniquement des femmes peut permettre de conserver un p faible avec pas trop de tests et d'auditeurs.
Maintenant la question des auditeurs "professionnels" de l'écoute mérite pas mal d'explications. Finalement il vaut mieux un tirage au sort parmi la population générale. Pour plus d'homogénéité certaines études prévoient un apprentissage des auditeurs et un contrôle d'homogénéité de leur évaluation. Ceci avant de commencer les tests proprement dits.

[nb]

nb, tu est (ou plus exactement me semble) assez incohérent dans ton raisonnement:
Je te dis que les ABX absolus débusquent les biais;
tu me dis que non, il y a des biais que les ABX ne débusquent pas, en me parlant de biais psychologiques.

Je te dis qu'ABX absolu ne veut rien dire.
Je te dis aussi qu'il y a toute sortes de biais, particulièrement matériels, (et aussi d'ordre psychologique, ceux dont tu contestes l'existence, mais pas seulement)
certains vont te dire que deux entrées d'un même ampli que sonnent pas pareil.
que la prise sur laquelle tu le branches n'a pas le même effet que celle d'à côté sur laquelle tu as branché l'autre appareil.
que l'un étant placé à 50 cms de l'autre, ils ne subissent pas les mêmes perturbations.
etc ...
etc ...
etc ...
Les différences sont faibles ? peut être.
Mais celles que tu cherches à mettre en évidence le sont elles moins ?

Puis tu me dis que tu n'as pas dit que ce biais d'illusion passerait les ABX. On parle de quoi, alors ? Moi, je ne te parle là que des ABX, si tu parles d'autres choses, inutile d'échanger ensemble sur des et d'argumenter si nos sujets sont différents.

Non (excepté une fois par imprécision de formulation) je ne dis pas qu'il passe les ABX.
J'ai clairement dit qu'on peut mettre en évidence de très fort phénomènes psychoacoustiques dans la perception, qui est ton seul outil de mesure pour ces mêmes ABX.
Tu peux pas dissocier tes tests de leur outil de mesure, c'est l'élément le plus capital.

Quand j'affirme que les ABX sont étudiés pour écarter tout risque de réussite biaisée, soit tu as des éléments pour contredire cette affirmation, soit tu n'en n'as pas.

Le biais matériels, dont vous pouvez extrêmement difficilement vous affranchir, sont un problème majeur.
Vos tests sont finalement très limités et très peu nombreux.
Soit tu prouves que tu as raisonnablement éliminé ces biais (ou tout au moins qu'il sont négligeables devant les différences que tu cherches à mettre en évidence), soit tu n'y arrives pas.
Et tu ne l'as pas fait quoique tu en dises.

Le biais que tu proposes (l'illusion) ne passe pas le test ABX, cette illusion est déjouée. Que cherches-tu donc à démontrer avec cette illusion?

Que ton seul et unique outil de mesure est extraordinairement facile à tromper, alors que tu te réclames d'une grande rigueur logique et scientifique.

Pour la réticence à effectuer les fichiers, ce n'est pas une réticence, juste le fait que pour le moment, ça ne m'enseignerait rien. Et si je me trompe, merci de me dire en quoi, au lieu de répéter que je me trompe sans me dire ce que je serais sensé découvrir que je ne sache déjà.

Les expériences des kangourous sont peu nombreuses, limitées, demandent du temps, de la disponibilité et de la mise en oeuvre.
Pour acquérir de l'expérience sur le sujet, la théorie ne suffit pas, il faut de la pratique.
La pratique effectuée par les kangourous est globalement très limitée.
A combien estimes tu le nombres de tests et le temps cumulé passé sur 2 ans ?

non: c'est le protocole ABX et la logique et la rigueur de logique des ABX qui élimine un paquet de biais, à priori tous si on est dans le protocole, sinon, merci de signaler lesquels pour faire progresser le protocole. Mais rien de neuf pour l'instant à te lire.

L'outil de mesure principal étant hautement influençable, et son acuité étant le sujet de l'étude, on n'est pas dans le protocole.

- on considère comme non significatif tout résultat négatif, obtenu avec ces mêmes oreilles: oui, c'est une règle impérative des ABX, et les raisons ont été données de multiples fois.

Ces raisons sont très jolies, mais le sujet est de savoir si des différences sont perceptibles.
Par conséquent tu considères que le protocole peut éventuellement confirmer ce qui t'arrange, mais lui interdit de confirmer ce qui ne t'arrange pas.
Moi je prétends que l'objet des tests est de savoir si des 2 appareils ont des différences perceptibles.
Si tu ne les perçois pas, c'est un résultat très instructif (à la limite le plus instructif de tous)

- on considère qu'un ABX positif est une preuve, toujours avec les mêmes oreilles: oui, mais uniquement dans le cadre des tests ABX absolus.

On ne sait toujours pas ce qu'est un ABX absolu ...

[AbsoluteSound]

Je ne comprends pas le sens de cette remarque.
De quels raisonnements scientifiques et de quels raisonnements commerciaux parles-tu ?

Simple ressenti global des choses...

Bravo grand x d'etre le premier à réagir...

En l'occurrence, les rôles sont plutôt inversés : c'est le commerçant qui défend les tests qui sont susceptibles de mettre à mal son commerce...

Et oui ,et il fallait y penser...grand x l'a fait

Perso,ce que je remarque ,c'est que quand une chose est clairement percus par tout le monde,il n'y a pas grande discussion sur tel ou tel phénomène...
En ce qui concerne la hifi ,j'ai la conviction que les tests ABX seraient réussis bien plus aisément ,si c'était des enceintes qu'il fallait distinguer ,à la place d'électroniques.
L'enceinte est pour moi un élément ultra déterminant ,bien plus que le reste.

[nb]

Perso,ce que je remarque ,c'est que quand une chose est clairement percus par tout le monde,il n'y a pas grande discussion sur tel ou tel phénomène...
En ce qui concerne la hifi ,j'ai la conviction que les tests ABX seraient réussis bien plus aisément ,si c'était des enceintes qu'il fallait distinguer ,à la place d'électroniques.
L'enceinte est pour moi un élément ultra déterminant ,bien plus que le reste.

Oui, d'ailleurs il y a un point qui semble être passé à la trappe.
Savoir si il y a une différence, même infinitésimale, entre deux appareils, n'a aucun intérêt.
La réponse est très vraisemblablement oui.
Même avec deux appareils identiques, leurs composants n'ont pas strictement les mêmes caractéristiques, elles évoluent dans le temps différemment pour chaque appareil.

On peut en pratique considérer que les appareils sonnent forcément différemment, est que la seule question est de savoir si cette différence est perceptible.
Le résultat le plus instructif de tous est alors finalement celui qui arrive à la conclusion que la différence n'a pu être perçue.
Résultat d'autant plus instructif que le même auditeur n'a pu percevoir de différence malgré des tests répétés, et encore plus si on a énormément de mal à dénicher un testeur qui parvient à percevoir une différence.

La problématique d'un acheteur est de savoir si il va, lui-même, percevoir la différence.
Pas de savoir si un oiseau rare surdoué de l'audition (ou prestidigitateur talentueux ) va réussir à le faire.

Au final, on peut quasiment dire que les tests qui mettent en évidence une différence n'ont aucun intérêt ...
Il suffit de comparer un radio-réveil déglingué et un système TTHDG pour y parvenir

[AbsoluteSound]

Perso,ce que je remarque ,c'est que quand une chose est clairement percus par tout le monde,il n'y a pas grande discussion sur tel ou tel phénomène...
En ce qui concerne la hifi ,j'ai la conviction que les tests ABX seraient réussis bien plus aisément ,si c'était des enceintes qu'il fallait distinguer ,à la place d'électroniques.
L'enceinte est pour moi un élément ultra déterminant ,bien plus que le reste.

Oui, d'ailleurs il y a un point qui semble être passé à la trappe.
Savoir si il y a une différence, même infinitésimale, entre deux appareils, n'a aucun intérêt.
La réponse est très vraisemblablement oui.
Même avec deux appareils identiques, leurs composants n'ont pas strictement les mêmes caractéristiques, elles évoluent dans le temps différemment pour chaque appareil.

On peut en pratique considérer que les appareils sonnent forcément différemment, est que la seule question est de savoir si cette différence est perceptible.
Le résultat le plus instructif de tous est alors finalement celui qui arrive à la conclusion que la différence n'a pu être perçue.
Résultat d'autant plus instructif que le même auditeur n'a pu percevoir de différence malgré des tests répétés, et encore plus si on a énormément de mal à dénicher un testeur qui parvient à percevoir une différence.

La problématique d'un acheteur est de savoir si il va, lui-même, percevoir la différence.
Pas de savoir si un oiseau rare surdoué de l'audition (ou prestidigitateur talentueux ) va réussir à le faire.

Au final, on peut quasiment dire que les tests qui mettent en évidence une différence n'ont aucun intérêt ...
Il suffit de comparer un radio-réveil déglingué et un système TTHDG pour y parvenir

+1
la logique,le bon sens...mènent à des conclusions,des réponses,après les intérets des uns et des autres par rapport à celà...

[grand x]

Pourquoi ne termines-tu pas tes phrases, et n'expliques tu pas ce dont tu parles? Si tes propos restent incompréhensibles, quel est l'intérêt ?
Tu sembles vouloir dire des choses, lesquelles ?