La barre numérique de la 'significativité' sert trop souvent d'alibi pour des recherches de qualité médiocre. Ces études sont reprises avec empressement par les médias.
Les scientifiques ne se contentent pas de résultats anodins : ils ne publient que les 'significatifs'. Mais cette limite numérique justifie trop souvent une recherche approximative, reprise avidement par les médias.
Peter Grünwald, mathématicien chevronné, mène un combat ambitieux : inciter les chercheurs à adopter des statistiques fondamentalement différentes pour interpréter leurs expériences. Dans les sciences sociales et la médecine, c'est une véritable bataille. Les principes de significativité, posés vers 1935 par Fisher, Neyman et Pearson, sont devenus un dogme. Des logiciels comme SPSS permettent aux médecins ou psychologues d'analyser leurs données sans maîtriser les calculs sous-jacents. Faut-il tout révolutionner ?
Fétichisme statistique
Aux Dutch Mathematics Days, fin janvier, devant des centaines de mathématiciens, Grünwald, chercheur principal au CWI (Centre de mathématiques et d'informatique) et professeur de statistiques à Leiden, a clos la conférence par un vote interactif via smartphones : une image érotique apparaîtrait-elle à gauche ou à droite de l'écran ?
En 2011, le psychologue Daryl Bem mena une expérience similaire, publiée dans le Journal of Personality and Social Psychology. Seules les images érotiques étaient devinées correctement plus de 50 % du temps (p < 0,05). Scandale jusqu'à ce que cela atteigne The Oprah Winfrey Show, provoquant critiques, dont celle d'Eric-Jan Wagenmakers, psychologue d'Amsterdam, critique lui aussi du fétichisme du 'p < 0,05'.
'Le brocoli combat l'autisme'
Les critiques du critère de significativité viennent de tous horizons. La plus basique : répétez une expérience 20 fois, un résultat significatif émerge souvent, publiable si 'sexy', titrant journaux et talk-shows.
Une BD illustre comment des bonbons verts 'causent' l'acné. « Si un groupe planifie 20 essais, une correction statistique s'applique. Mais avec des labs indépendants ? » interroge Grünwald.
Un message infondé comme 'le brocoli contre l'autisme' sur 20 n'est pas dramatique (non reproductible). Pire : John Ioannidis (Stanford, 2005) estimait 30 % des résultats médicaux hautement cités non reproductibles, dû au biais de publication. Les revues rejettent les négatifs ; restent les 'acides verts causent l'acné'.
Source de confusion
Une autre faille : la p-value inverse la charge de la preuve, le sophisme du procureur (voir encadré). « Source de misère », dit Grünwald. Un p < 0,05 signifie : sous l'hypothèse nulle (pas de précognition), la probabilité de ces données (387/700 corrects) est < 5 %. Beaucoup l'interprètent comme : probabilité que l'hypothèse nulle soit vraie < 5 %, soit précognition > 95 %.Exemple : dire à un aléatoire qu'il est basketteur NBA ; probabilité > 1,90 m ? Inversement : > 1,90 m ; probabilité basketteur ? Grünwald : « Facile contextuellement, ce raisonnement bayésien évite l'erreur du procureur, contre-intuitif pour l'esprit humain. »
Arrêt optionnel
Interdit aussi : l'arrêt optionnel. Testez 100 sujets, p=0,07 (non significatif). Ajoutez 20 ? Triche : p-value dégonflée. Les essais cliniques précisent tout à l'avance ; en psycho sociale, flexibilité règne, étudiants mobilisés sur mois.
___________________________________________________________
Valeur p et hypothèse nulle
La coïncidence varie : sous H0 (devinette pure, 700 votants), ~350 gauche. Probabilité exact 350 : 1/33 (0,03). 382 gauche : 0,002 (1/500). Significatif ?
Ligne p < 0,05 : 5 % résultats extrêmes. Rejeter H0 : précognition ou biais (gauche lue en premier). Attention : erreur du procureur.
___________________________________________________________
Tests martingales
Grünwald prône les martingales de test : flexibles, valeur probante sans biais p-value. Inspiré casino : pariez virtuellement sur H0/alternative. Gain W contre H0 : 1/W comme p robuste, même avec arrêt optionnel.
Lié aux fonds surpassant indices. Implémentable en SPSS. « Plus simple que p : l'argent tangible. Interim : tests bayésiens. »
___________________________________________________________
Sophisme du procureur
p < 0,05 sous H0 (non psychique), 382/700 corrects. Rejeter H0, mais probabilité réelle psychique ? Inverser = erreur.
Prior : 1/10000 psychique. Prob. score ≥382 | psychique : 1. | non : 0,01. Total : psychique 0,0001 ; non 0,009999. Postérieur psychique : ~1 % !
Bayésien intègre prior + données. Évite paradoxes p. Affirmations extraordinaires exigent preuves extraordinaires.
