Une équipe internationale de chercheurs a reproduit 100 études psychologiques récentes. Plus de la moitié de ces réplications ont produit des résultats différents.
La science fait face à une crise de fiabilité depuis plusieurs années. En 2012, le magazine Eos révélait déjà qu'un scientifique médical flamand sur douze manipulait parfois ses données. La recherche en psychologie est particulièrement critiquée : les études sont souvent menées sur de petits échantillons et difficiles à reproduire. La fraude massive du psychologue social Diederik Stapel, de l'Université de Tilburg, découverte il y a quatre ans, a précipité une crise dans le domaine.
Le cliché veut que chaque crise soit une opportunité, et c'est le cas ici. Les critiques ont stimulé de nouvelles initiatives pour restaurer la réputation de la discipline. Brian Nosek, professeur de psychologie à l'Université de Virginie, a lancé le Reproducibility Project: Psychology. Il a convaincu des chercheurs du monde entier, dont ceux de la KU Leuven et de l'Université de Tilburg – l'ancienne université de Stapel –, de répliquer conjointement une centaine d'études publiées en 2008 dans trois revues prestigieuses.
Pas fiable ?
Cette semaine, les résultats de cette vaste étude de réplication sont publiés dans la revue Science (2015). Remarquable : les chercheurs ont réussi à reproduire la plupart des expériences originales. Cependant, les résultats n'étaient pas identiques. Ils concordaient avec les études initiales dans moins de la moitié des cas. Cela ne signifie pas que les travaux originaux méritent la poubelle, tempère l'équipe de Science. Mais cela soulève de sérieux doutes : soit l'étude originale a détecté un effet erroné et non fiable ; soit la réplication, malgré sa conception rigoureuse, n'a pas été menée exactement comme l'originale ; soit un hasard a joué.
« Pendant des années, on s'inquiétait de la reproductibilité des résultats scientifiques, mais avec peu de preuves directes et systématiques. Ce projet est le premier du genre et fournit des preuves substantielles que ces préoccupations sont réelles et solubles », déclare Brian Nosek.
Nosek et les 270 chercheurs impliqués ont aussi identifié les facteurs de reproductibilité. L'expérience des auteurs originaux n'a pas compté. En revanche, les résultats initialement plus significatifs étaient plus souvent confirmés. Les découvertes surprenantes étaient plus difficiles à reproduire. Certaines études étaient trop complexes à répliquer fidèlement, ce qui n'est pas acceptable scientifiquement. Un résultat n'est « vrai » que s'il est reproduit plusieurs fois.
Pression publicationnelle
La conception des études psychologiques peut donc être améliorée pour permettre des vérifications fiables. Malheureusement, le monde académique décourage les réplications, note Nosek. « Les scientifiques visent des connaissances fiables, mais ils dépendent des publications pour leur carrière. Les découvertes nouvelles, inattendues ou excitantes sont privilégiées. »
Des études antérieures montrent que les revues favorisent les travaux positifs (qui détectent un effet) et dédaignent les réplications. Ainsi, les chercheurs privilégient l'innovation au détriment de la reproductibilité, au risque de résultats peu fiables, explique Nosek.
[]