Recherche biomédicale et journalisme en situation d'incertitude : validité des résultats de la recherche biomédicale et couverture médiatique - HAL-SHS - Sciences de l'Homme et de la Société Accéder directement au contenu
Thèse Année : 2017

The reproducibility crisis in biomedical research : an analysis of the validity of biomedical studies published in peer-reviewed journals and their media coverage

Recherche biomédicale et journalisme en situation d'incertitude : validité des résultats de la recherche biomédicale et couverture médiatique

Résumé

Many academic publications are devoted to the « reproducibility crisis » in biomedical sciences. Their authors distinguish this lack of reproducibility from fraud or plagiarism. This “crisis” deals with a much larger phenomenon encompassing many scientific disciplines: a large amount of scientific results are disconfirmed by subsequent studies.This lack of reproducibility is to be expected: knowledge production is an incremental process where early, promising yet tentative findings are validated through replication. Indeed, scientific results are uncertain per se. The problem, however, is that this uncertainty does not seem to be taken into consideration when science “meets” the public, especially through the media.In this dissertation we studied how the media presented this uncertainty when dealing with biomedical findings. To do so we first created a large, original database of scientific studies investigating the association between risk factors (genetic, biochemical, environmental) and pathologies from three biomedical domains; psychiatry, neurology and a set of four somatic diseases. We evaluated the validity of each initial study by comparing their results to the result of meta-analyses on the same subject. The replication validity is low: 65% of initial studies are disconfirmed by corresponding meta-analysis even when they were published in high-ranking journals. We then identified which studies were selected by the press: initial studies published in prestigious journals and relevant to the readers were preferentially covered. Their validity was nonetheless poor with more than 50% being subsequently invalidated. The press rarely mentioned these frequent invalidations. Analysing the newspaper article contents, we found that journalists and their editors do not deal with scientific uncertainty. Indeed, the majority of newspaper articles referred to the study as being an initial study but only 21% indicated that the results needed to be replicated. Moreover those statements were made by scientists and have become scarce in most recent articles. A survey of 21 science journalists confirmed that journalists still consider high-ranking scientific journals to be reliable sources of information. However, these journalists were not familiar with the incremental process of knowledge production: two-thirds did not know that early findings were uncertain, or confused uncertainty with fraud. The other third knew about the uncertainty of initial results but found it hard to take it into account in their articles because of their respective hierarchy.More generally, the dissertation discusses the influence of extra-scientific factors upon the production of scientific knowledge. We conclude that the scientific assessment process based on the number of papers published in high impact factor journals, combined with the scientific institutions’ orientation towards the media, might undermine the reliability of scientific results, and this in academic publications as well as in the media. Indeed, journalists’ working conditions are deteriorating and most do not seem to properly grasp how scientific facts are produced. This might be damaging for public trust in biomedical research and public debate about health-related issues.
De nombreux articles dans les journaux scientifiques font état du manque de reproductibilité des études biomédicales. Cette « crise de la reproductibilité » ne doit pas être confondue avec les problèmes de fraudes ou de plagiats. Elle recouvre un phénomène plus général aux disciplines scientifiques : un grand nombre de résultats publiés ne sont pas reproduits.Ce manque de reproductibilité n’est pas choquant en soi : la connaissance scientifique est un processus cumulatif qui évolue de résultats prometteurs mais incertains pour arriver à un consensus après réplication des observations par les pairs. L’incertitude est donc inhérente à la recherche en train de se faire. Cependant, cette incertitude ne semble pas être prise en compte dans les interactions entre recherche et société, notamment au travers des médias.Cette thèse s’intéresse à la façon dont l’incertitude est présentée dans les médias en se basant sur l’étude de la couverture médiatique de résultats de la recherche biomédicale dont la validité est connue. Nous avons constitué une large base de données regroupant des résultats de la recherche biomédicale couvrant 3 domaines de la recherche, la psychiatrie, la neurologie et un échantillon de 4 maladies somatiques. Nous avons sélectionné des études décrivant l’association de facteurs de risques (génétiques, environnementaux, biochimiques) avec différentes pathologies. La validité des études initiales a été calculée en comparant leurs résultats à ceux des méta-analyses sur le même sujet. Dans 65% des cas, les résultats des études initiales ne sont pas confirmés par ceux des méta-analyses et ce même si elles sont publiées dans les journaux prestigieux. Nous avons également identifié, parmi les études de la base de données, celles qui avaient retenu l’attention de la presse anglo-saxonne. Celle-ci privilégie les études scientifiques initiales publiées dans des journaux scientifiques prestigieux et présentant des implications directes pour le lecteur. La validité de ces études n’est pas meilleure que celles des publications scientifiques : plus de la moitié n’ont pas été confirmées et la presse ne s’en fait quasiment jamais l’écho. D’autre part, l’analyse du contenu des articles de presse révèle que les journalistes et leurs rédacteurs en chef ne prennent que rarement en compte l’incertitude scientifique. En effet, la majorité des articles précise qu'il s'agit bien d'une découverte initiale, mais seulement 21% mentionnent que la découverte doit être confirmée par des études ultérieures. Ces mentions sont principalement le fait des scientifiques et tendent à disparaître dans les articles les plus récents. Enfin, au travers d’entretiens semi-directifs réalisés auprès de journalistes scientifiques, nous avons confirmé que ceux-ci utilisaient volontiers les résultats publiés dans les journaux scientifiques prestigieux qu’ils considèrent comme des sources fiables. L’enquête révèle que ces journalistes méconnaissent le fonctionnement de la recherche : les deux tiers ne savent pas que les résultats initiaux sont incertains ou bien confondent incertitude et fraude. Quant au tiers restant, il indique les difficultés à faire valoir cette incertitude auprès de leur hiérarchie respective.Plus généralement, cette thèse discute de l’influence grandissante de facteurs extérieurs à l’activité scientifique dans le processus de production de connaissances. En particulier, la prise en compte par les chercheurs et les institutions scientifiques de critères d’intérêt médiatique pourrait influencer les stratégies de recherche et la fiabilité des résultats scientifiques. D’autre part, la détérioration des conditions de travail des journalistes et leur méconnaissance du fonctionnement de la recherche soulèvent des interrogations importantes sur la pertinence des informations présentées dans la presse et sur la qualité du débat public des questions de santé.
Fichier principal
Vignette du fichier
DUMAS-MALLET_ESTELLE_2017_diffusion.pdf (22.47 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-01682946 , version 1 (12-01-2018)

Identifiants

  • HAL Id : tel-01682946 , version 1

Citer

Estelle Dumas. Recherche biomédicale et journalisme en situation d'incertitude : validité des résultats de la recherche biomédicale et couverture médiatique. Science politique. Université de Bordeaux, 2017. Français. ⟨NNT : 2017BORD0737⟩. ⟨tel-01682946⟩
426 Consultations
538 Téléchargements

Partager

Gmail Facebook X LinkedIn More