Alex Reinhart, Statistics Done Wrong: The Woefully Complete Guide, San Francisco, No Starch Press, 2015.
par Mathieu Maguet
Introduction
Si les statistiques sont essentielles à l’établissement de résultats scientifiques en sciences naturelles, elles ne sont qu’une méthode parmi d’autres en sciences sociales. Elles restent cependant un outil majeur dans certains champs.
Les statistiques appliquées à des données expérimentales peuvent être vues comme la forme de preuve la plus solide. Leur usage est largement répandu en psychologie et participe à la définition de l’économie expérimentale. Elles sont également centrales parmi les méthodes quantitatives dans le reste des approches économiques, ainsi qu’en sociologie, bien que les données soient le plus souvent observationnelles, et non le résultat d’expériences, dans ces champs. Cependant, on découvre à la lecture de l’ouvrage d’Alex Reinhart, Statistics Done Wrong: The Woefully Complete Guide (Reinhart 2015), que de nombreux travaux scientifiques souffrent d’erreurs dans leur usage des statistiques, ce qui remet en question la validité de leurs résultats. Si – au-delà de la psychologie – les sciences sociales sont peu présentes dans l’ouvrage, on ne peut que supposer que ce constat s’y applique également.
Sans nous submerger de détails mathématiques, dans une prose agréable à parcourir, Reinhart nous présente ainsi des erreurs statistiques courantes dans la pratique scientifique. Il ne s’agit pas ici de cas de fraudes, de falsifications de résultats ou de manipulations malhonnêtes des données. Si ces pratiques existent malheureusement, il s’attaque plutôt aux erreurs courantes, qui passent souvent inaperçues. En effet, la plupart des chercheurs qui mobilisent les statistiques ne sont pas statisticiens, les statistiques n’étant pour eux qu’un outil parmi d’autres. Les statistiques constituent cependant une discipline à part entière – il s’agit d’un outil notoirement complexe – et nombreux sont les chercheurs qui l’utilisent sans en avoir une grande maîtrise.
Les outils informatiques aidant, il est en effet possible de mettre en œuvre des méthodes statistiques sans en connaître tous les tenants et aboutissants. Presser un bouton et regarder le nombre d’étoiles à côté du chiffre en sortie suffit parfois à obtenir un résultat semblant pertinent au premier abord. Cela est toutefois insuffisant et ces résultats sont parfois faux ou vides de sens.
Parmi les différentes erreurs statistiques présentées par Reinhart, je vous présente ici les plus communes : les erreurs d’interprétation des résultats des tests statistiques sous la forme de valeurs-p, les problèmes de puissance statistique liées à la taille de l’échantillon et les conséquences de la multiplication des tests. Avant de conclure, j’évoque aussi les facteurs structurels liés au monde académique et de la publication scientifique qui favorisent indirectement ces erreurs.
Questions d’interprétation
Sous sa forme la plus simple, un test d’hypothèse statistique est effectué pour savoir si un « effet » existe, c’est-à-dire si on peut observer une différence selon une dimension qui nous intéresse entre deux groupes différenciés selon une autre dimension. Cette différence entre groupes peut être préexistante dans le cas de données observationnelles, ou créée par le chercheur dans le cas de données expérimentales. L’exemple le plus classique est celui de groupes de personnes ayant reçu ou non un médicament, et dont on cherche à savoir s’il y a une différence concernant un indicateur de leur santé. Le résultat d’un test d’hypothèse statistique se présente le plus souvent comme une « valeur-p » (p-value)[1], qui peut être définie comme « la probabilité, sous l’hypothèse qu’il n’y ait pas de vrai effet ou de vraie différence, de collecter des données présentant une différence égale ou supérieure à celle effectivement observée » (p. 8, ma traduction).
Cette définition est assez complexe, ce qui rend l’interprétation des résultats difficile. Reinhart propose de voir la valeur-p comme une « mesure de surprise » (p. 9), soit à quel point les résultats obtenus seraient surprenants si l’effet recherché n’existait pas. Ainsi, la valeur-p ne dit rien directement sur l’existence de l’effet, ni sur son ampleur, mais seulement si son existence est cohérente avec les données effectivement observées. Deux tests donnant des valeurs-p identiques peuvent ainsi correspondre à des effets d’ampleurs très différentes, et inversement des données présentant des effets d’ampleurs similaires peuvent mener à des valeurs-p très différentes (chap. 5).
La « significativité » d’un résultat correspond à l’observation d’une différence supérieure à ce qui pourrait être obtenu par des variations aléatoires de la grandeur mesurée (chap. 1). Un résultat est dit significatif si la valeur-p obtenue est inférieure à un certain seuil, fixé a priori. Le seuil le plus souvent utilisé est 5 %, mais cette valeur est arbitraire et la norme dépend des champs de recherche. Chaque test significatif peut en réalité correspondre à un faux positif, soit se révéler significatif alors que l’effet recherché n’existe pas en réalité, simplement à cause de la variabilité aléatoire des données. Le seuil de valeur-p fixe cependant le taux maximal de faux positifs que l’on souhaite avoir sur l’ensemble des tests ayant le même seuil, soit le taux de résultats considérés comme significatifs alors que l’effet dont on cherche à vérifier l’existence n’existe pas en réalité. Le choix d’une telle norme ne donne en revanche pas de garantie sur la probabilité qu’un test en particulier soit un faux positif. Plus le seuil est élevé, plus le nombre de résultats significatifs sera élevé, mais avec un nombre de faux positifs plus important ; plus il est faible, moins on aura de résultats significatifs (même pour des effets réels), mais meilleure sera la solidité des résultats significatifs.
Devant ces difficultés liées à l’interprétation des valeurs-p, Reinhart défend l’usage des intervalles de confiance (confidence intervals), bien plus faciles à interpréter (p. 12-14, 22-23). Plutôt qu’un résultat binaire de significativité ou non, celui nous donne les bornes entre lesquelles la « vraie » valeur de la différence mesurée se situe, avec une certaine assurance (souvent 95 ou 99 %). Ainsi, on a à la fois des informations sur l’ampleur de l’effet et sur l’incertitude associée à cette ampleur. Si cet intervalle n’inclut pas zéro, il est probable que l’effet existe : le test est significatif. Si cet intervalle inclut zéro, il n’est pas certain que l’effet existe, mais la largeur et la forme de l’intervalle nous donnent davantage d’informations qu’une valeur-p : si l’intervalle est étroit autour de zéro, il est probable que l’effet n’existe effectivement pas ; s’il est très large, cela signifie que l’échantillon n’est sans doute pas suffisamment grand pour étudier l’effet recherché, il est sous-dimensionné (voir partie suivante).

Les intervalles de confiance, une bonne alternative aux valeurs-p (sauf ici).
Source : XKCD 2311 « Confidence Interval », CC BY-NC 2.5
Le fait que la valeur-p soit supérieure au seuil défini a priori ne signifie pas que l’effet testé n’existe pas. C’est une possibilité, mais il est aussi possible que l’effet existe mais soit d’ampleur trop limitée pour que le test soit significatif avec l’échantillon considéré. Des tests sur un échantillon différent ou de plus grande taille pourraient alors être significatifs. Lorsqu’un test est non significatif, on ne peut pas conclure concernant l’existence de l’effet.
Plus généralement, il faut faire attention à ne pas conclure sur des propositions qui ne correspondent pas à ce qui a été testé : tester l’efficacité de deux médicaments par rapport à un placebo ne permet pas de conclure qu’un est significativement (ou non) plus efficace que l’autre, il faut effectuer un test sur la différence des effets pour cela (p. 55-57, chap. 5). Il faut aussi garder à l’esprit que corrélation n’implique pas causalité, en particulier dans le cas des régressions : il est toujours possible qu’une « variable cachée » (confounding factor) – c’est-à-dire une variable non observée liée causalement aux variables d’intérêt – soit à la source de la corrélation observée, et non une relation de causalité entre ces dernières (p. 84-85). Plus généralement, sauf à utiliser des méthodes dédiées et avoir des données adaptées, il est compliqué de conclure formellement sur des relations de causalité à partir de données d’observation (par opposition à des données expérimentales) (Huntington-Klein 2021).
(Im)puissance
Intuitivement, il est clair qu’un échantillon de taille plus importante est bénéfique pour la réalisation de tests statistiques : il est plus représentatif, et les mesures sont plus précises[2]. Le concept de puissance statistique (statistical power) permet de quantifier cet effet : étant donné l’ampleur supposée de l’effet, une taille d’échantillon, l’incertitude de mesure et le seuil de valeur-p choisi pour la significativité, la puissance statistique est la probabilité d’obtenir un résultat statistiquement significatif pour un test donné (chap. 2). Son calcul analytique est cependant souvent difficile, voire impossible, mais il est possible de l’estimer en simulant des données (p. 20).
Il peut avoir différents usages. Lors de la conception d’une étude, il permet d’estimer la taille d’échantillon minimale nécessaire afin de pouvoir mettre en évidence un effet d’ampleur donnée (suffisante pour que cet effet ait un intérêt médical par exemple). Lorsqu’on ne maîtrise pas la taille de l’échantillon ou qu’on l’applique à une étude déjà réalisée, le calcul permet de savoir jusqu’à quelle ampleur potentielle de l’effet l’analyse ne permettra pas de conclure (et éventuellement de décider de la pertinence ou non de l’analyse prévue, ou de la qualité de l’étude). Selon différentes études citées par Reinhart, de nombreux travaux publiés présentant des résultats négatifs sont sous-dimensionnés (underpowered), c’est-à-dire qu’ils ont des échantillons si petits qu’ils n’auraient pu détecter que des effets d’ampleur exceptionnelle par rapport à ceux auxquels on pourrait s’attendre (p. 19). L’absence de résultats significatifs peut ainsi provenir d’un sous-dimensionnement, et donc d’une incapacité à détecter les plus grands effets.
Une étude sous-dimensionnée peut tout de même induire des résultats significatifs, mais un autre biais apparaît alors, le risque d’« amplification de la vérité » (truth inflation) (p. 23-26). En effet, parmi les nombreuses études sous-dimensionnées, certaines vont donner des résultats significatifs. Ces résultats sont issus de la variabilité aléatoire des données, affectant d’autant plus les résultats que l’échantillon est petit : un effet d’ampleur exagérée peut arriver par hasard et permettre l’obtention d’un résultat significatif alors que des effets d’ampleur attendue ne seraient pas significatifs. Ces résultats « exceptionnels » vont alors être davantage publicisés, et faire souvent partie des travaux les plus cités, alors que les réplications (bien dimensionnées) trouveront des effets d’ampleur plus faibles.
À l’opposé de ces problèmes liés au sous-dimensionnement, on trouve le cas des échantillons très grands. Dans ce cas, même des effets d’ampleur minime vont apparaître significatifs. Ce n’est pas faux, mais cela nous rappelle que le fait qu’un résultat soit significatif et solide ne signifie pas qu’il soit intéressant.
En revanche, certains échantillons peuvent avoir une puissance statistique gonflée artificiellement par des observations non indépendantes, par exemple des mesures des mêmes individus à différents instants (chap. 3). La taille de l’échantillon ne représente alors pas sa diversité, c’est le phénomène de pseudoréplication. Si l’expérience ne peut pas être modifiée pour générer une base de données sans observations corrélées, ou s’il ne s’agit pas de données expérimentales, diverses procédures peuvent permettre d’adapter l’analyse et éviter cet écueil : rassembler les observations dépendantes en prenant leur moyenne ou adapter les seuils de significativité pour la valeur-p en suivant des procédures dédiées[3] (p. 34, 38).

Un bel exemple de pseudoréplication, mais aussi des comparaisons multiples, avec la réalisation de tests au cours de la collecte de données influençant celle-ci.
Source : XKCD 882 « Slope Hypothesis Testing », CC BY-NC 2.5
Trop de tests tuent le test
En l’absence de résultats significatifs, que cela soit à cause de l’absence d’un effet ou d’une puissance statistique insuffisante, il est tentant de réaliser d’autres tests sur des effets différents, ou de modifier les caractéristiques du test, dans l’espoir d’obtenir enfin des résultats significatifs intéressants à diffuser. Pour naturelle que cette approche puisse sembler, il s’agit d’une erreur renforçant le risque d’obtenir des faux positifs.
Le problème des « comparaisons multiples » renvoie plus généralement au fait que, à seuil de significativité de la valeur-p fixé, chaque test ayant un certain taux – réduit – de faux positifs, leur multiplication augmente massivement le taux de faux positifs sur l’ensemble des tests (chap. 4). L’intuition générale est ici que les tests statistiques, en particulier réalisés dans la même étude, ne peuvent pas être considérés comme indépendants les uns des autres, au regard de la nature probabiliste, et non valables sur un seul test, des assurances données par les procédures statistiques. Pour illustration, avec un seuil de significativité de 5 %, la probabilité d’obtenir un faux positif en testant uniquement des effets inexistants indépendants dépasse 50 % à partir de 14 tests (p. 49).

Un exemple de comparaison multiples, avec un biais de publication en prime.
Source : XKCD 882 « Significant », CC BY-NC 2.5
Si ces tests ne sont pas indépendants et les probabilités de faux positifs plus difficiles à calculer dans ce cas, le problème des comparaisons multiples existe aussi lorsque l’on effectue des tests au cours de la collecte des données, pour savoir si on en a suffisamment (p. 68-71), ou que l’on multiplie les méthodes pour tester des hypothèses similaires. Cela inclut le fait de tester différentes équations de régressions multiples, en enlevant ou ajoutant des variables, à la main ou par des processus automatisés de sélection de variables (chap. 8). Dans le cas des régressions multiples, il y a également un risque d’amplification de la vérité pour les variables restantes à l’issue d’un tel processus de sélection, le choix des variables étant intimement lié aux données sur lesquelles le modèle a été ajusté. On parle alors de sur-ajustement (overfitting).
La solution la plus simple à mettre en œuvre pour contrer le problème des comparaisons multiples est de réduire le seuil de valeur-p choisi pour la significativité en fonction du nombre de tests réalisés (chap. 4). Différentes procédures sont envisageables pour cela[4], mais en réduisant le seuil de significativité elles diminuent aussi la puissance des tests. Si l’étude est sous-dimensionnée ou proche de l’être, il est nécessaire de trouver un compromis entre le nombre de tests effectués et le maintien d’une puissance statistique suffisante pour montrer ce que l’on veut chercher à montrer. Des indicateurs de performance alternatifs à la significativité statistique peuvent être utilisés dans le cas des régressions multiples, prenant notamment en compte les risques de sur-ajustement[5] (p. 83). Plus généralement, afin d’éviter les comparaisons multiples, il serait souhaitable de prédéfinir précisément pour chaque étude les méthodes de traitement et d’analyse des données, et expliquer dans l’article en résultant les raisons des changements si changement il y a (p. 95).
Les analyses exploratoires sont particulièrement concernées par le problème des comparaisons multiples, comme elles impliquent de suivre de nombreuses pistes afin de trouver des éléments intéressants à creuser (chap. 6). Si l’échantillon est sous-dimensionné, elles sont aussi susceptibles d’amplification de la vérité. Comme leur nom l’indique, les analyses exploratoires ne peuvent pas produire des éléments de preuve scientifique solides, les hypothèses qu’elles permettent de formuler doivent être vérifiées sur d’autres données indépendantes. Le terme indépendant est essentiel ici. En effet, si les hypothèses sont testées sur l’échantillon qui a servi à les produire, leur test n’apporte pas plus de certitudes sur la solidité du résultat que les analyses ayant servi à les formuler, celles-ci souffrant de comparaisons multiples. Cette pratique à éviter, dite d’« analyse circulaire » (circular analysis ou double-dipping), s’applique aussi aux données construites ou sélectionnées sur la base des enseignements de l’analyse exploratoire. La solution la plus évidente est de collecter de nouvelles données indépendantes des premières pour réaliser les tests. Sinon, si la taille d’échantillon le permet, il est possible de séparer celui-ci en deux, et de réaliser l’analyse exploratoire sur une partie, et les tests des hypothèses construites sur l’autre. Il est contre-intuitif de ne pas tirer parti tout de suite de toutes les données à disposition, mais cette approche permet paradoxalement de réaliser une analyse statistique plus fiable (si la puissance statistique reste suffisante dans chacune des deux parties de l’échantillon).
Des biais à source institutionnelle
« Tout le monde fait des erreurs » (titre chap. 10, ma traduction) : même quand la démarche et les données sont appropriées, les erreurs sont monnaie courante dans les publications scientifiques (p. 97-99). On peut s’attendre à en voir émerger, étant donné la complexité des études scientifiques, de leur conception à l’analyse des données, en passant par la collecte et le nettoyage de ces dernières. Ces erreurs sont cependant liées pour partie à un manque de formation des chercheurs à un outil central dans leurs pratiques : les formations – et les manuels (p. 2-3) – font souvent l’impasse sur (ou présent trop succinctement) des concepts importants présentés dans ce billet et l’ouvrage de Reinhart (p. 121-124). En effet, les formations initiales sur ce sujet restent limitées, en particulier en sciences sociales (ce qui est certes lié à la multiplicité des méthodes à acquérir). De plus, celles-ci sont souvent centrées sur les mathématiques sous-tendant ces outils, des éléments vites oubliés et relativement inutiles alors que tous ces calculs sont effectués en pratique par nos ordinateurs. Si ces éléments mathématiques peuvent expliciter certaines hypothèses importantes, ou éclairer le sens de certains indicateurs, telles les valeurs-p, ils ne sont pas les uniques ni plus explicites manières de présenter les risques de mésusages des outils statistiques. Il serait probablement plus utile de centrer ces enseignements sur le développement d’une intuition statistique, au moins aussi essentielle pour la pratique quotidienne [p. 123 ; voir aussi Huntington-Klein (2021)], ainsi que sur l’utilisation pratique des méthodes statistiques sur des problèmes concrets liés au champ d’étude des étudiants.
La publication des résultats et l’évaluation par les pairs des articles avant publications devraient cependant permettre de détecter les erreurs afin de les corriger. Cependant, plusieurs éléments entravent ce processus. Tout d’abord, les membres du comité de lecture peuvent eux-mêmes avoir des compétences limitées en statistiques : dès lors que ces aspects sont centraux pour la validité des résultats proposés, il serait souhaitable qu’un statisticien participe à l’évaluation. De plus, pour une évaluation fiable de leurs méthodes – lors de la publication, mais aussi ensuite – les auteurs doivent donner suffisamment de détails sur celle-ci et sur les données utilisées : il y a donc une synergie entre cet effort de réduction des erreurs statistiques et le développement de la science ouverte, ce qui contribue également à la reproductibilité et vérifiabilité des résultats scientifiques (p. 98-102). Les pratiques d’évaluation des articles par les journaux scientifiques et leurs exigences en termes de détails méthodologiques et de diffusion des données pourraient ainsi être un outil important afin de s’assurer de la qualité des analyses statistiques produites (p. 124).
Les indicateurs quantitatifs utilisés pour la progression de carrière des chercheurs, et pour l’évaluation de la recherche plus généralement, en premier lieu le nombre de publications, participent aussi aux erreurs statistiques. Ceux-ci encouragent en effet la réalisation rapide de nombreux articles, sans forcément prendre le temps de collecter les quantités de données qui seraient nécessaires à l’obtention d’une puissance statistique suffisante, et sans vérifier attentivement la qualité et le caractère adapté des méthodes de traitement et d’analyse proposées (p. 126). La compétition entre chercheurs accroît ces effets, et limite le développement de la science ouverte en décourageant la diffusion de données ou de méthodes, par peur d’appropriation par d’autres chercheurs avant que leurs producteurs aient pu les « faire fructifier » autant qu’ils le souhaitent (p. 107-108). L’inflation du nombre de publications que cette compétition entraîne limite aussi la capacité des chercheurs à suivre les nouveaux résultats de leur champ, notamment quand des résultats sont remis en cause (p. 120-121). Cela accentue ainsi la plus lente diffusion de ces résultats contradictoires par rapport à de nouveaux résultats moins solides et plus sujets au biais d’amplification de la vérité .
Les critères de publication des journaux académiques jouent aussi un rôle significatif : ils sélectionnent souvent les résultats les plus spectaculaires ou surprenants – quelle que soit la qualité statistique de ces études, présentant souvent des formes d’amplification de la vérité – au détriment d’études plus solides aux résultats moins impressionnants, de sujets déjà traités dans la littérature, ou de résultats négatifs (p. 125). Ces incitations limitées et biais de publication (publication bias) n’encouragent pas à passer du temps à produire et diffuser des résultats négatifs bien qu’il s’agisse de résultats scientifiques pertinents et utiles, notamment pour des méta-analyses fiables (chap. 11). Ils poussent au contraire à multiplier les analyses jusqu’à obtenir un résultat « digne de publication », sombrant ainsi dans le défaut des comparaisons multiples. Ces comparaisons multiples ne sont d’ailleurs pas apparentes pour les lecteurs des articles si les résultats négatifs ne sont pas publiés avec les positifs dans les études où plusieurs effets ont été testés. De même, les études de réplication ne sont pas encouragées, limitant les efforts de vérification indépendants de beaucoup de résultats, qui pourraient détecter des erreurs, ou au contraire renforcer leur crédibilité (chap. 10).
Conclusion
Au-delà des erreurs d’interprétations de valeurs-p, qui gagneraient à être remplacées par des intervalles de confiance, la plupart des autres erreurs statistiques décrites par Reinhart entraînent une augmentation du nombre de faux positifs, et souvent sur une amplification de la vérité. En plus de nous décrire les situations à risque, les risques eux-mêmes, et leurs causes, il évoque de nombreuses pistes pour les éviter. Bien sûr, ce livre n’est pas un manuel de statistiques : il ne décrit pas ces solutions en détails. Selon les pratiques de chacun, il faudra donc chercher par ailleurs les moyens de mettre en œuvre celles-ci. Cette (auto)formation s’ajoute cependant à toutes les compétences déjà requises par la pratique de la recherche, qui seraient portées par des experts dédiés dans beaucoup d’autres environnements de travail (p. 126-127) ; et ce en particulier en sciences sociales, où la division du travail scientifique est souvent moindre qu’en sciences naturelles.
Dans la mesure du possible, Reinhart recommande donc de s’appuyer sur les compétences de statisticiens, et ce dès la conception d’une étude – pas uniquement après la collecte de données – afin d’éviter les problèmes de sous-dimensionnement notamment (p. 127-128). On pourrait ainsi rêver de permanences de statisticiens régulières, au moins au sein des grosses structures de recherche, avec des collaborations plus poussées sur des projets qui le requièrent.
Plus généralement, l’ouvrage n’est pas dédié à une discipline en particulier, et les sciences sociales ne sont que peu représentées parmi les exemples cités. Au-delà des relativement rares travaux expérimentaux, les données disponibles en sciences sociales sont souvent observationnelles. Comme nous l’avons vu, cela introduit des difficultés supplémentaires, notamment dans l’analyse de relations causales. Si certaines sources de données, produites par des spécialistes, offrent de bonnes garanties de qualité – telles que les enquêtes de la statistique publique, en gardant à l’esprit leur caractère de constructions sociales dans des contextes socio-économiques et politiques spécifiques (Desrosières 2014) – de nombreuses autres souffrent de sous-dimensionnement ou d’autres défauts majeurs pour la réalisation de tests statistiques. Ainsi, les statistiques inférentielles fondées sur le test d’hypothèses ne sont pas forcément un outil adapté pour toutes les sources de données et sujets d’étude rencontrés en sciences sociales. Par exemple, des données macroéconomiques nationales ne permettent pas nécessairement d’obtenir une puissance statistique suffisante à tester ce que l’on souhaite montrer, comme le nombre de pays est nécessairement fini, et relativement réduit. D’autres outils quantitatifs, plus adaptés aux « petits nombres » peuvent alors se révéler plus pertinents, tels que l’analyse géométrique des données, dans ses usages descriptifs.
Reinhart décrit aussi les problèmes structuraux faisant obstacle à la réalisation d’études de meilleure qualité statistique, au niveau de la publication et des méthodes d’évaluation de la recherche et des chercheurs. Selon lui : « Il n’y a pas de solution magique unique ; la culture académique va devoir changer lentement pour récompenser l’exhaustivité, la rigueur, et la qualité statistique » (p. 126, ma traduction). Ce changement pourrait passer notamment par la formation des chercheurs, par les pratiques de sélection et d’évaluation des articles par les revues, et par une transformation plus générale des modes d’évaluation de la recherche. Ces changements souhaitables ne sont ainsi pas sans rappeler ceux promus par la « science lente » (slow science) (Frith 2020, Candau 2023).
S’il serait souhaitable de transformer ce contexte dans lequel les travaux scientifiques sont réalisés, il est possible au moins dans l’immédiat d’éviter ces erreurs statistiques dans ses propres travaux. Bien évidemment, il est nécessaire de savoir qu’elles existent et sont courantes avant de chercher l’information pour éviter de les reproduire soi-même. J’espère que ce billet aura au moins pu jouer ce rôle pour vous, si vous n’aviez pas déjà conscience de ces erreurs courantes, et je ne peux que vous encourager à vous former davantage en lisant cet agréable livre de Reinhart, comme premier pas dans ce parcours.
Mathieu Maguet : Normalien rentré initialement au département de physique, j’ai ensuite changé de voie pour l’économie, et obtenu en 2024 un master 2 “Analyses et Politiques Économiques” dans le programme EPOG2 de l’Université Sorbonne Paris Nord. Je suis maintenant une thèse au laboratoire CRIEG-REGARDS de l’Université de Reims Champagne-Ardenne, sous la direction de Thierry Pouch, et co-encadré par Julia Le Noë. Je travaille sur les transformations de l’agriculture française depuis 1945, à travers l’analyse conjointe des flux de matière, d’énergie, et monétaires, dans une perspective d’économie écologique.
References
Candau, Joël. 2023. « Slow science : l’appel de 2010 douze ans après ». Socio. La nouvelle revue des sciences sociales, nᵒ 17, 17 (janvier): 37‑46. https://doi.org/10.4000/socio.14142.
Desrosières, Alain. 2014. Prouver et gouverner : une analyse politique des statistiques publiques. Sciences humaines. Paris: La Découverte. https://doi.org/10.3917/dec.desro.2014.01.
Frith, Uta. 2020. « Fast Lane to Slow Science ». Trends in Cognitive Sciences 24 (1): 1‑2. https://doi.org/10.1016/j.tics.2019.10.007.
Huntington-Klein, Nick. 2021. The Effect: An Introduction to Research Design and Causality. New York: Chapman and Hall/CRC. https://doi.org/10.1201/9781003226055.
Reinhart, Alex. 2015. Statistics Done Wrong: The Woefully Complete Guide. San Francisco: No Starch Press. https://nostarch.com/statsdonewrong.
[1] Les travaux de statistiques et l’ouvrage de Reinhart lui-même étant rédigés en anglais, vous trouverez le nom anglais des concepts abordés quand la traduction n’est pas transparente. Ces mots-clés faciliteront vos recherches éventuelles futures sur ces sujets.
[2] La loi des grands nombres confirme cette intuition : la moyenne empirique calculée sur un échantillon tend vers sa « vraie » valeur lorsque la taille de l’échantillon tend vers l’infini.
[3] Reinhart propose de pondérer les mesures moyennées obtenues pour prendre en compte d’éventuelles différences dans le nombre de mesures par individu, et donc la précision de la moyenne. Parmi les méthodes plus avancées permettant de prendre en compte les corrélations entre observations, il cite les méthodes d’erreurs standards regroupées (clustered standard errors), les modèles hiérarchiques ou multiniveaux (hierarchical models) ou les tests à mesures répétées (repeated measures tests) (p. 34).
[4] Reinhart présente la « correction de Bonferroni » (p. 50), ainsi que la « procédure de Benjamini–Hochberg » (p. 52-53), légèrement plus complexe mais réduisant moins la puissance des tests.
[5] Reinhart cite le Critère d’information d’Akaike (Akaike information criterion, AIC) et le Critère d’information bayésien (Bayesian information criterion, BIC), ainsi que les méthodes de validation croisée (cross-validation) (p. 83).
OpenEdition vous propose de citer ce billet de la manière suivante :
DER SHS (20 août 2025). Alex Reinhart, Statistics Done Wrong: The Woefully Complete Guide, San Francisco, No Starch Press, 2015. Saclay des champs. Consulté le 10 avril 2026 à l’adresse https://doi.org/10.58079/14hm5
