En octobre dernier, le directeur de l’école de mon fils a commencé chaque assemblée en affichant le classement de la Premier League, avec Tottenham Hotspur en tête. (Mon fils, fan d’Arsenal, le rival local de Tottenham, a été indigné.) Ceux qui connaissent le football anglais sauront que Tottenham a été en tête du championnat pendant une grande partie du mois d’octobre, mais seuls ceux qui ont la mémoire longue se souviendront de la dernière fois où les Spurs ont terminé la saison. dans cette position. C’était en 1961.
Pourtant, il n’en faut pas beaucoup pour produire un univers alternatif dans lequel les Spurs sont une machine à gagner. Tout ce que vous avez à faire est ce que le directeur a fait : lorsque Tottenham gagne, affichez le classement ; quand ce n’est pas le cas, restez silencieux. Récemment, le directeur est resté silencieux. Ce comportement a un nom : le biais de publication. Personne n’est susceptible de se laisser tromper par une assemblée scolaire humoristique en lui faisant croire que Tottenham remportera la Premier League, mais, dans d’autres contextes, le biais de publication est une affaire sérieuse.
Lorsque nous essayons de donner un sens au monde, il est important qu’il existe une différence systématique entre les informations qui nous sont présentées et celles qui sont obscurcies. Nous sommes entourés d’images et d’idées qui ont été passées au crible du filtre trompeur des biais de publication et, contrairement aux jeunes fans de football qui savent que les Spurs ne remportent pas beaucoup de trophées, nous manquons généralement des connaissances nécessaires pour tirer les bonnes conclusions.
Le biais de publication est traditionnellement une préoccupation dans les revues universitaires : des résultats surprenants, passionnants, nouveaux et, en particulier, statistiquement significatifs ont tendance à être publiés, tandis que les résultats « nuls », dans lesquels les statistiques ne démontrent aucun effet clair, ont tendance à languir dans les tiroirs. Cela peut sembler un désagrément mineur, mais, en réalité, cela donne une image pernicieusement trompeuse des preuves qui devraient être disponibles.
Pour comprendre pourquoi, remplacez « Tottenham mène la Premier League » par « un nouvel antidépresseur est très efficace dans les essais cliniques ». Si les essais qui ne montrent aucun effet ne sont pas publiés, tandis que ceux qui trouvent un effet sont claironnés, alors la base de données publiées est systématiquement biaisée et conduira à de mauvaises décisions cliniques.
Même si le biais de publication est le plus frappant et le mieux étudié dans la recherche formelle, la même tendance s’applique beaucoup plus largement. Pensez à qui nous voyons lorsque nous allumons la télévision. Les gens qui apparaissent à la télévision ont tendance à être plus beaux et plus riches que le reste d’entre nous et, presque par définition, ils sont plus célèbres. Nous sommes une espèce sociale et nous effectuons souvent des comparaisons sociales. Si nous ne nous comparons pas à nos amis mais aux célébrités que nous passons tant de temps à regarder, nous pouvons avoir l’impression de ne pas être à la hauteur.
Ou pensez au crime. Dans tout pays comptant plusieurs millions d’habitants, il y aura un flot constant de crimes effroyables. De tels crimes sont juste assez courants pour apparaître à chaque fois que vous regardez l’actualité, tout en étant juste assez rares pour être dignes d’intérêt. Selon la Crime Survey for England and Wales, la série de données sur la criminalité la plus respectée du Royaume-Uni, les crimes violents ont diminué de plus de 75 pour cent depuis leur pic de 1995 ; il a diminué d’environ la moitié depuis 2010.
Pourtant, les enquêtes d’opinion publique suggèrent fréquemment que la criminalité est une préoccupation urgente, et la majorité des gens pensent que la criminalité est en augmentation. L’explication probable de cette perception erronée est simplement que nous sommes entourés de drames policiers et de rapports faisant état de crimes horribles, plutôt que de rapports faisant état de banques intactes, de maisons non cambriolées et de femmes rentrant chez elles en toute sécurité la nuit. Nos perceptions de la criminalité ne reflètent pas la réalité, mais elles correspondent fidèlement aux informations et aux divertissements qui nous sont présentés.
On peut soutenir que notre propre cerveau nous inflige chaque jour une sorte de biais de publication, sous la forme de « l’illusion de concentration ». Chaque fois que nous envisageons une décision, nous pensons à certaines considérations tout en en négligeant d’autres. Par exemple, lorsqu’on se demande s’il faut acheter de nouveaux meubles de jardin, on imagine un week-end ensoleillé. Nous ne pensons pas à tous les jours où il fera froid et pluvieux, ni à ceux où nous devrons être au bureau et non dans le jardin. Selon les mots du lauréat du prix Nobel Daniel Kahneman : « Rien dans la vie n’est aussi important que vous le pensez, pendant que vous y réfléchissez. »
Je ne suis pas sûr d’avoir un antidote au fait que les belles personnes dominent la télévision, mais il existe, au moins, un traitement bien compris contre le biais de publication en médecine : c’est que chaque essai doit être enregistré publiquement avant de commencer (de peur qu’il ne devienne public). manquant) et chaque essai doit avoir des résultats correctement rapportés.
La campagne All Trials a été lancée en 2013 pour faire pression sur les sociétés pharmaceutiques et les universités afin qu’elles préenregistrent chaque essai clinique et publient chaque résultat. La campagne a reçu un nouvel élan lorsque l’un de ses cofondateurs, Ben Goldacre, a dirigé une équipe pour concevoir un système automatisé. système d’audit, Trials Tracker. Trials Tracker vérifie automatiquement que les essais cliniques menés aux États-Unis, dans l’Union européenne et au Royaume-Uni sont rapidement signalés.
Goldacre m’a récemment dit qu’un moment décisif s’était produit en 2019, lorsque la commission parlementaire des sciences et technologies du Royaume-Uni avait écrit aux facultés de médecine des principales universités britanniques. Le président du comité les a prévenus que le comité avait étudié les données de Trials Tracker et inviterait bientôt les plus retardataires à témoigner en personne.
“À certains égards, cela ne m’a pas été d’une grande aide”, a déclaré Goldacre, impassible, “parce qu’à l’époque, je n’avais pas de poste permanent. [academic] post et ce genre de choses agace légèrement les doyens des facultés de médecine et rend les gens un peu contrariés et tristes.
Mais le message a été reçu. Confrontées à la combinaison de mesures claires et à la menace d’humiliation publique, les universités britanniques ont soudainement découvert un nouvel zèle pour rendre compte de leurs essais cliniques. Selon EU Trials Tracker, ils ont désormais un excellent bilan en matière de publication de chaque résultat, tout comme les sociétés pharmaceutiques. Si seulement il en était de même pour les directeurs d’école.
Le nouveau livre pour enfants de Tim Harford, « The Truth Detective » (Wren & Rook), est maintenant disponible
Suivre @FTMag pour découvrir en premier nos dernières histoires