Kangourou ABX, ép 4: du muguet pour les kangourous (1er Mai)

[corsario]

Pour que ça soit clair, ce que mon message précédent montre, c'est que Pio a raison : si on multiplie les tests, on multiplie les chances de gagner. C'est une évidence, mais comme rien n'est évident avec les probas, ça fait du bien de le vérifier expérimentalement (même si ici c'est un ordinateur qui a fait l'expérience pour nous, merci pour nous).

Et donc là où Whyhey s'étonnait :

Dans une recontre ABX Kangourous à 5 auditeurs s'essayant chacun à mettons 4 ABX différents, le risque de faux succès est de 5x4 = 20 sur 2048, soit un sur cent.
Si les rencontres se succèdent, les chances de faux succès se multiplient. Après 5 rencontres de ce genre, on dépasse théoriquement les 1 chances sur 20 de faux succès, au-delà desquelles on ne peut plus rien conclure.

que si, on peut en conclure que:
si c'était vrai, il suffirrait d'être 2048 pour etre certain à 100% d'avoir un faux succès.
Pire si on est 10 000 on explose le chiffre mythique de 1
il ne s'agit donc plus de risque s'exprimant en pourcentage.

ou j'ai rien suivi ...
je pense qu'il manque le fait que le nombre d'expériences se multiplie d'autant qu'on est nombreux, et que donc la proba reste inchangée
sauf si les expériences ne sont pas indépendantes ...

Il n'y a pas lieu de s'étonner : il suffit d'être un certain nombre pour être certain à 99.999% d'avoir un faux succès

D'ailleurs Whyhey lui-même semble s'être convaincu tout seul ici :

Pour revenir au calcul:
1-si on cherche la probabilité que parmi 5 auditeurs (ou le meme auditeur répetant 5 fois la meme expérience), il y en ait un au moins (peut etre plus) qui fasse un succès (ou un faux succès, car c'est la même proba, il n'y a pas de différence entre un succès et un faux succès, statistiquement. tout comme il n'y a pas de différence entre un echec et un faux echec, statistiquement). C'est 1- la proba que tous les auditeurs fassent un echec. soit 1- (2047/2048)^5 = 0.002439
2-a comparer à la probabilité que parmi 5 auditeurs, il y en ait un exactement (ni plus ni moins) qui fasse un succès (ou un faux succès): 5*(1/2048)*(2047/2048)^4 = 0,002437.
Plus le nombre d'auditeurs augmente, plus la première proba tend vers 1.
(pour 500 000 auditeurs prob1 = 1- 9e-107 , prob2= 2e-104)
3- le tableau complet:

où l'on voit que ce qui est un fait extraordinaire est que les 5 personnes fassent un succès en même temps: (1/2048)^5 = 3 e-17 (3 chances sur 100 millions de milliards)

Où il montre que si le nombre d'auditeurs augmente, le nombre de succès augmente (ça il ne le montre pas ici) et que par conséquent la proba qu'il y a au moins 1 succès augmente (c'est ça qu'il montre ici).

Le remède est simple, et Pio l'applique depuis longtemps : il faut pooler les tests. Par exemple 1 succès et 4 échecs, il faut pooler, et du coup c'est beaucoup moins impressionant.

Mais pas de panique : on peut sortir de cet apparent paradoxe sans problème : si la personne qui a fait un succès ne l'a pas fait par hasard, elle peut le reproduire autant de fois que l'on veut, il suffit de lui demander gentiment

Conclusion : on ne s'embête pas, pour qu'un ABX soit validé on reste au 14/15, mais on demande à la (ou les) personne(s) qui l'ont réussit de recommencer 10 fois de suite. Voilà. Comme ça on sera convaincu

[WhyHey]

je m'étonnais du fait qu'une proba puisse dépasser 1 corsario, et donc j'ai souligné le fait que on pouvait déduire de ce calcul (celui initialement proposé,) qu'il avait toute les chances d'etre faux, restait à expliquer où, et pio l'a dit lui-même: c'est juste qu'elle n'augmente pas en proportion du nombre d'auditeurs comme expliqué ensuite.
la proba unitaire reste inchangé (cette proba unitaire est indépendante du nombre de personne puisque c'est la définition de l'unitaire: la proba pour une personne), ce qui change c'est des proba en prenant en compte d'autres auditeurs et des conditions de succès du genre "au moins 1 réussi" ou "Tous réussissent" etc etc ...

[grand x]

J'ai pas tout suivi, sauf que je peux continuer à jouer de temps en temps au loto.
c'est toujours ça de pris.
Bon, je vise pas que les faux succès, je suis preneur des vrais aussi.

[corsario]

je m'étonnais du fait qu'une proba puisse dépasser 1 corsario, et donc j'ai souligné le fait que on pouvait déduire de ce calcul (celui initialement proposé,) qu'il avait toute les chances d'etre faux, restait à expliquer où, et pio l'a dit lui-même: c'est juste qu'elle n'augmente pas en proportion du nombre d'auditeurs comme expliqué ensuite.
la proba unitaire reste inchangé (cette proba unitaire est indépendante du nombre de personne puisque c'est la définition de l'unitaire: la proba pour une personne), ce qui change c'est des proba en prenant en compte d'autres auditeurs et des conditions de succès du genre "au moins 1 réussi" ou "Tous réussissent" etc etc ...

D'accord. C'est la formulation de Pio que tu reprenais. Je croyais en te lisant qu'en plus tu n'étais pas d'accord non plus avec sa conclusion : à savoir qu'à partir d'un certain nombre d'auditeurs, il y aurait "forcément"* un succès, même dû au hasard.

*Plus exactement qu'il était toujours possible de trouver un nombre d'auditeurs tels qu'on ait plus de 99.9 % de chance d'avoir au moins 1 succès dû au hasard.

Si on est tous d'accord là dessus, alors ça va.

Et la conclusion est facile : il ne suffit pas qu'il y ait un test ABX réussi (parmi 10000 essais infructueux). Il faut que ce test ABX réussi soit reproductible (par la même personne ou par d'autres, peu importe). Il suffit d'ailleurs à l'heureux auditeur de réussir 2 ou 3 tests successivement pour exploser les compteurs. Car dans ce cas son 14/15 devient, disons un 42/45, et là il explose tout.

[corsario]

J'ai pas tout suivi, sauf que je peux continuer à jouer de temps en temps au loto.
c'est toujours ça de pris.

Exactement. Si tu gagnes une fois le gros lot au loto, tu auras eu de la chance.
Mais si tu gagnes 10 fois dans ta vie, et mieux encore, 10 fois de suite, alors là tu as 1) gagné beaucoup d'argent et 2) démontré que le tirage du loto ne répond pas au hasard mais obéit à des règles; règles qu'en plus tu as réussi à trouver (et tu as donc bien mérité d'avoir gagné tout cet argent).

[corsario]

Pour info j'ai tracé la probabilité d'avoir au moins 1 succès dû au hasard en fonction du nombre de personnes ayant fait (ou faisant) le test. La courbe que j'ai tracé correspond à une proba de succès de 1%, ce qui, grosso modo, correspond à un test ABX d'au moins 9/10.


Augmentation de la probabilité d'avoir au moins un succès au hasard quand on augmente le nombre d'auditeurs, pour un jeu où chaque auditeur à 1 chance sur 100 de gagner.

(la courbe est un peu bruitée : c'est normal, je n'ai appliqué aucune formule ni théorie : j'ai juste joué avec un générateur aléatoire et compté les succès. Ici pour chaque nombre n d'auditeurs j'ai fait l'expérience suivante : chaque auditeur joue. Quand les n auditeurs ont joué je regarde si j'ai eu au moins un succès. Je répète 100000 fois l'expérience. Je compte combien de fois sur ces 100000 j'ai eu au moins un succès, et je divise par 100000 pour obtenir la proba. Et je passe au n suivant.)

Avec un auditeur, évidemment, on commence à 0.01 (normal ), et puis ça augmente petit à petit avec le nombre d'auditeurs.

Mine de rien à partir de 20 tests (ou 20 auditeurs) on a déjà 18 % de chance d'avoir un succès, juste par le hasard...

On pouvait sûrement calculer théoriquement la courbe obtenue. Mais c'était fatiguant

[WhyHey]

tu as la formule théorique dans mon post : pas trop fatiguant

[corsario]

tu as la formule théorique dans mon post : pas trop fatiguant

j'ai vu un calcul, mais je n'ai pas vu de formule
(mais j'ai peut-être mal cherché)

Si c'était possible d'avoir la formule y=f(x) avec y=proba d'avoir au moins un succès au hasard en fonction de x = nombre d'auditeurs, ceci dans le cas où la proba unitaire de succès pour un auditeur est de 1%, be my guest...

On pourra vérifier la formule en la superposant à ma courbe "expérimentale" ci-dessus

Si tu es chaud et en forme tu peux généraliser à y=f(x,p) pour une probabilité de succès unitaire p quelconque

Merci

[grand x]

...qui tire au sort deux nombres entre 1 et 100. Si ces deux nombres sont égaux, c'est un succès. S'ils sont différents, c'est un échec ...

Est-on réellement dans la configuration X est égal à A, ou à B, quelles sont les probabilités de trouver par hasard ?
J'ai du mal à correler.

Et bon sang, faire 10 000 tests, et reporter les résultats sur une courbe,
Ca laisse du temps de libre, la paternité !

Xavier, tout à la main et de tête. (ca me prend un temps, d'écrire tout ça à la plume sur mon écran, avec des lettres toujours impeccables ...)

[Pio2001]

...qui tire au sort deux nombres entre 1 et 100. Si ces deux nombres sont égaux, c'est un succès. S'ils sont différents, c'est un échec ...

Est-on réellement dans la configuration X est égal à A, ou à B, quelles sont les probabilités de trouver par hasard ?
J'ai du mal à correler.

Le tirage d'un dé à cent faces représente le tirage d'une série de X à deviner par le switch ABX, le deuxième tirage du dé à cent faces représente des réponses données au hasard par un auditeur qui ne perçoit pas de différence réelle.

Lorsque les deux nombre sont égaux, cela simule un test ABX entier qui a réussi sans différence audible, pour un auditeur, sur une paire d'appareils.

Les tests ABX que nous faisons, avec 14/15 bonnes réponses attendues, sont comme des tirages de dés à 2048 faces.

[grand x]

Les tests ABX que nous faisons, avec 14/15 bonnes réponses attendues, sont comme des tirages de dés à 2048 faces.

Ca m'étonnerait ! : il y a bien 2 dés, alors que tu as défini un risque sur 2048 de faire une fausse réussite (1/2048, et pas un double avec 2 dés à 2048 faces) .
Faut pas me la faire, je suis !
De très très loin, mais c'est pas une raison !

[corsario]

Les tests ABX que nous faisons, avec 14/15 bonnes réponses attendues, sont comme des tirages de dés à 2048 faces.

Ca m'étonnerait ! : il y a bien 2 dés, alors que tu as défini un risque sur 2048 de faire une fausse réussite (1/2048, et pas un double avec 2 dés à 2048 faces) .
Faut pas me la faire, je suis !
De très très loin, mais c'est pas une raison !

Et pourtant c'est bien ça.

Simplifions : prenons des dés à 6 faces. Et bien tu as une chance sur 6 de faire un double en lançant 2 dés à 6 faces (pour faire un double il faut lancer 2 dés
Ca fait bizarre au début, mais c'est bien ça : tu as 1 chance sur 36 de faire un double 1, 1 chance sur 36 de faire un double 2, etc.... Au total tu as une proba de 6*1/36 de faire un double quelqu'il soit. Et 6/36=1/6. Yes.

Donc si tu veux simuler une probabilité de 1/N tu prends deux dés de N faces et tu as 1/N chances de faire un double. Voili voilou.

Encore plus simple, tu prends 2 pièces de monnaies, tu as 1 chance sur 2 qu'elles tombent toutes les deux sur pile ou toutes les deux sur face.

PS : et pour les 100000 tests, ce n'est pas moi qui les fait, c'est l'ordinateur, et il a tout terminé en 2 minutes

[Crao]

PS : et pour les 100000 tests, ce n'est pas moi qui les fait, c'est l'ordinateur, et il a tout terminé en 2 minutes

Oh pinaise, tout ça ? Tu as fait ça sur TRS-80 ?

[corsario]

PS : et pour les 100000 tests, ce n'est pas moi qui les fait, c'est l'ordinateur, et il a tout terminé en 2 minutes

Oh pinaise, tout ça ? Tu as fait ça sur TRS-80 ?

Ne te moque pas Je répondais à Xavier qui s'inquétait pour ma santé mentale :

Et bon sang, faire 10 000 tests, et reporter les résultats sur une courbe,
Ca laisse du temps de libre, la paternité !

Et je vais de ce pas donner son bain à ma fille !
(qui va gaillardement sur ses 3 mois mine de rien)

EDIT : je n'avais pas compris que Crao s'inquiétait lui des performances de l'ordinateur . Bon si je faisais tous les tests j'en aurais 100000 * (1+2+3+4+...+100) soit 505000000 itérations. Heureusement je suis malin et j'arrête dès qu'un des "joueurs" a fait un double. Mais bon, partons sur 500 millions d'itérations. Comme je suis paresseux j'ai programmé ça sous Matlab. Imaginons que le run ait réellement duré 100 secondes. Ca fait 5 millions d'itérations à la seconde. Je mets au défi ton TRS-80 de faire ça
Et demain (le code est sur l'ordi du boulot), pour votre bon plaisir, je sortirai le nombre réel total d'itérations effectuées et le temps passé (c'est un PC banal, un peu musclé à l'époque, mais un peu âgé, je dirai 3 Ghz)

[grand x]

Merci Corsario !

y a pas, faut que je fasse une fille !
je comprendrais tout des proba, et je ferais des simulations d'enfer sur le machin au dessus du clavier, pour le Loto.

et pour la fille, j'ai plus de chances de gagner.
Et aussi c'est bien amusant de jouer!