Thème: publish or perish

Le média japonais Nikkei Asia a découvert 17 manuscrits scientifiques comprenant des messages invisibles (écrits en blanc sur blanc ou en taille 0,1 point) destinés à manipuler les systèmes d’IA utilisés dans l’évaluation de publications. L’objectif: orienter les IA afin qu’elles donnent un avis positif et favorable aux travaux, dans le but de maximiser les chances de leur publication. Parmi les 17 travaux concernés, principalement issus du domaine informatique, se trouvent des auteur·ices des universités de Columbia, de Washington ou encore de Waseda (Japon). Nature précise avoir trouvé de son côté 18 publications contenant de tels messages et dont les auteur·ices proviennent de 44 institutions dans 11 pays, en Amérique du Nord, en Europe, en Asie et en Océanie.

Dans un contexte de «publish or perish», «ces prompts peuvent influencer la carrière de leur auteur», note la journaliste du Temps Nina Schretr. Elle relève que cette pratique «menace l’intégrité du processus d’évaluation par les pairs», car certain·es évaluateur·ices se tournent de plus en plus vers l’utilisation de l’IA. Des chercheur·euses pourraient ainsi «tenter d’exploiter la malhonnêteté d’autrui pour se faciliter la tâche», explique James Heathers de l’Université Linnaeus de Växjö (Suède) dans Nature. Toutefois, l’un des coauteur·ices d’un manuscrit dénoncé par Nikkei Asia y voit au contraire «une mesure contre les relecteurs paresseux qui utilisent l’IA».

Cette affaire relance la réflexion sur l’évaluation par les pairs. Kirsten Bell, anthropologue à l’Imperial College de Londres, qui étudie l’éthique de la recherche et l’édition universitaire, explique à Nature: «Si celui-ci fonctionnait comme il est censé le faire, le problème ne se poserait pas, car les messages-guides de l’IA – cachés ou non – n’auraient aucune incidence sur le résultat.»

Le Neue Zürcher Zeitung (03.10.2024) publie un commentaire sur l’affaire Aguzzi (Études trafiquées à l’Hôpital universitaire de Zurich), qui plaide pour un nouveau système scientifique «qui récompense la diligence et la prudence et qui rende la fraude moins attrayante. » L’auteure donne également quelques pistes pour modifier le système d’aujourd’hui «qui incite trop à la manipulation et qui ne recherche pas assez les comportements erronés.» La veille (02.10.2024), le Neue Zürcher Zeitung écrivait que «les scientifiques qui évaluent une publication avant sa publication ne recherchent pas spécifiquement les falsifications. Ils s’intéressent plutôt à la question du sens et de la qualité des expériences réalisées et de leur interprétation.»
Le Tages-Anzeiger quant à lui donne la parole à Edwin Constable, ancien président du Groupe d’expert-e-s en intégrité scientifique, qui évoque également la pression sur les chercheur·euses quant au nombre de leurs publications. Il s’agit du syndrome dit «publish or perish».

L’explosion des neurosciences n’a pas encore apporté grand-chose aux malades mentaux, estime l’autrice de l’article, Eveline Geiser. Pour progresser, des énormes bases de données de scans cérébraux sont nécessaires. L’infrastructure existe, à priori (la European Brain Research Infrastructure (Ebrains)), mais la plupart des scientifiques semblent stockent leurs données dans le meilleurs des cas dans les serveurs de l’université, par crainte que d’autres publient leurs résultat se basant sur leurs scans avant eux.

La manière de créer des incitations durables au partage des données fait l’objet de discussions animées. «Si les décideurs des universités et des instituts de recherche prennent au sérieux l’approche «big data» dans la recherche sur le cerveau, les paroles devraient rapidement être suivies d’actes. Sinon, l’appel à de nouvelles thérapies pour les maladies psychiques restera longtemps inaudible – ce qui reviendrait notamment à gaspiller l’argent des contribuables.»

Le problème croissant des fausses publications scientifiques est alimenté par un marché en pleine expansion, où des agences, les «paper mills» (moulins à papier), offrent des services d’assistance à la rédaction pour les publications. Les scientifiques paient jusqu’à 25’000 euros pour des contrefaçons bien réalisées et désormais «[g]râce à l’IA, ces faux et ces contrefaçons sont désormais de plus en plus faciles et rapides à fabriquer».

Le chercheur et éditeur de revue spécialisée en neurologie, Bernhard Sabel, a découvert l’ampleur du problème à l’aide d’autres chercheur·es : «A ce jour, nous estimons qu’au moins cent mille travaux scientifiques publiés sont suspects ou falsifiés […]. Cela ne concerne que la biomédecine. En extrapolant à l’ensemble de la science, on arrive à quatre à cinq cent mille travaux publiés et falsifiés chaque année – sur un total d’environ 5 millions de publications dans le monde. Cela donnerait un taux de contrefaçon d’environ 10 pour cent.» Les études falsifiées pourraient avoir des conséquences néfastes selon Jörg Meerpohl, Directeur de Cochrane Allemagne, une association internationale pour l’assurance qualité en médecine : «[l]es implications pour les patients seraient immenses si des recommandations de traitement étaient faites sur la base d’études fausses et fictives».

Bien que les grandes maisons d’édition cherchent de plus en plus de détecter les contrefaçons, la pression sur les chercheur·es pour publier en quantité, plutôt qu’en qualité, contribue à ce phénomène.

«Le système espagnol d’évaluation des scientifiques, très décrié, dans lequel le seul critère d’avancement de carrière est la publication d’articles, devrait être révisé dans le cadre de nouvelles propositions de l’Agence nationale d’évaluation et d’accréditation (ANECA).

Les réformes, annoncées au début du mois, prévoient pour la première fois que les chercheurs des universités publiques espagnoles soient évalués sur la base d’une série de résultats autres que les articles, et encouragent également la diffusion des résultats par l’intermédiaire de plates-formes en libre accès. De nombreux scientifiques se félicitent de cette initiative, estimant qu’elle aidera le monde universitaire à sortir d’un système qui a été décrit comme établissant une « dictature des articles ».»

«La littérature scientifique est polluée par de faux manuscrits produits par des paper mills ─des entreprises qui vendent de faux travaux et de fausses signatures à des chercheurs qui ont besoin de publications dans des revues pour leur CV.»

«Une analyse non-publiée communiquée à Nature suggère qu’au cours des deux dernières décennies, plus de 400 000 articles de recherche présentant de fortes similitudes textuelles avec des études connues produites par des paper mills ont été publiés. Environ 70 000 d’entre eux ont été publiés rien que l’année dernière […]. L’analyse estime que 1,5 à 2 % de tous les articles scientifiques publiés en 2022 ressemblent étroitement à des travaux produits par des paper mills. Parmi les articles de biologie et de médecine, ce taux s’élève à 3 %.» (Nature.com)

«L’homme derrière tout cela est Adam Day, directeur de la société londonienne «Clear Skies». Il a conçu une intelligence artificielle qui lit les bases de données scientifiques du monde entier et doit distinguer les travaux suspects de ceux qui ne le sont pas. Il le fait à la demande expresse et avec le soutien des revues spécialisées.»

Certains des plus grands se font avoir. Pour rappel, en 2021 la «Royal Society of Chemistry (RSC) de Londres a dû reconnaître […] qu’elle était tombée dans le piège de copieurs. Elle n’avait pas publié que des plagiats isolés, mais 69.» (Die Welt)

À Harvard, une professeure en sciences comportementales est accusée d’avoir manipulé les données de certaines de ses études. L’université a ouvert une enquête, mais ne fournit aucun autre commentaire que le fait d’avoir mis la chercheuse en congé administratif. La chercheuse «examine les accusations, les prend au sérieux et évalues ses options», ne se prononçant pas sur leur véracité.

Selon Data Colada, blog tenu par trois scientifiques qui réalisent des répliques d’études, lors de la réalisation d’une étude sur l’honnêteté, des données auraient été changées entre le groupe expérimental et le groupe de contrôle. Trois autres études auraient également été manipulées. En 2012 un co-auteur avait déjà été épinglé, mais l’intégrité des autres co-auteur·trices ayant collaboré avec la chercheuse d’Harvard n’est pour l’instant pas remise en doute.

Selon l’économiste comportemental zurichois Ernst Fehr, la cause d’une telle manipulation des données viendrait de la volonté des chercheur∙euses qui font de la recherche en psychologie à vouloir «générer des résultats aussi rapides et insolites que possible.» Maximilian Maier, de l’University College London, condamne plutôt l’influence de la culture du «publish or perish.»

Depuis une quinzaine d’années les scientifiques essaient de surmonter la difficulté de la replicabilité des résultats. Les domaines scientifiques les plus concernés sont la médecine, la biologie et surtout la psychologie. La cause de cette difficulté peut se retrouver d’une part dans les méthodologies inadaptées, et de l’autre dans «la propension des revues à ne publier que des résultats positifs et la culture du «publish or perish»». Pour pallier à cette crise, de nombreuses initiatives ont été mises en place, parmi lesquelles les outils pour une science ouverte (Open Science) ou le rapport enregistré (registered report) qui implique une validation de la recherche avant qu’elle soit menée.

Carl Schleussner, membre de l’institut de recherche Climate Analytics, affirme que «l’explosion récente du nombre de […] «revues prédatrices» crée des problèmes qui sont exploités par les climatosceptiques». En plus, les climatosceptiques appuient leurs propos en citant des travaux scientifiques, comme cela a été le cas pour le géologue Sebastian Luening qui a cité le travail du paléoclimatologue Nathan Stansell pour exprimer sa position climatosceptique. Stansell a commenté l’article de Luening en le jugeant «parsemé de désinformation, de mauvaises interprétations et de biais».

L’Université de Berne a lancé en 2020 l’initiative Better Science qui vise à créer une culture scientifique qui donne la chance à tout membre de la communauté scientifique de travailler de manière «excellente». Un élément clé de cette initiative sont ses dix appels à l’action . Dans une récente table ronde, une des questions traitées était comment les responsables académiques et les universités peuvent y contribuer.

Le physicien et philosophe Edouard Kaeser estime que l’objectif de produire toujours plus rapidement des résultats de recherches a beaucoup de conséquences néfastes.

Un des symptômes de ce phénomène est la production de connaissances superficielles. «Les scientifiques produisent de la connaissance. Ce produit spécifique a normalement le format d’hypothèses ou de modèles, mais pas celui de théories élaborées. Car cela nécessiterait du temps. […] Une profonde compréhension du contexte nécessite une plus profonde compréhension des liens de cause à effet.»

En outre, «Fast Science consolide en outre une inégalité de pouvoir entre le Premier et le Tiers Monde. De nombreux bailleurs de fonds internationaux, nationaux et privés sont basés dans des pays riches et technologiquement avancés, et ils soutiennent le style de recherche national. […] Le problème central n’est pas la dynamique, mais l’éthique de la recherche. Il s’agit moins de l’accélération que du manque de temps.»

Selon une enquête parue en jan­vier, menée auprès de 1800 doctorant-e-s et jeunes docteur-e-s, 21% des répondants disent avoir vu une tierce personne s’attribuer le fruit de leurs travaux. Souvent un encadrant, comme le note Colin Lemée, président de l’association Doctopus. Selon une doctorante, ces abus découlent en partie de l’«hyperconcurrence», due au manque de postes chroniques à l’université. Et de la nécessité pour les encadrants de s’assurer que chacun de leurs doctorant-e-s ait des résultats à présenter, «quitte à piller ceux d’autres jeunes chercheurs.»

A la rentrée 2021, le Réseau national des collèges doctoraux, [une organisation française] a mené une enquête auprès de plus de 11’500 doctorant-e-s. 15% des personnes interrogées se disent insatisfaites ou très insatisfaites de la manière dont leur directeur veille à ce que leurs travaux soient bien crédités.

Par ailleurs, selon la première enquête susmentionnée, 20% des répondants disent avoir subi du harcèlement moral, le plus souvent perpétré par l’encadrant de la thèse.

«Tous les essais cliniques ne sont pas utiles, au sens où ils feraient progresser la médecine. Certains sont de qualité médiocre, d’autres abandonnés en cours de route, d’autres encore si mal rapportés que leur apport est difficile à évaluer. Une étude récente, publiée dans Jama Network Open, appuie ce constat dégrisant dans le domaine de l’oncologie.»

Selon une étude de l’Université de Genève et les HUG, publiée dans le British Medical Journal, entre mars et mai 2020, le nombre de publications scientifiques rédigées par des femmes en tant que «premier-ère auteur-e» a connu une chute de 20%. Pour les auteur-e-s de l’étude, il est important que ces chiffres soient pris en compte lors de l’évaluation des carrières.

Pour s’assurer que la science respecte les plus hauts standards, la Suède a créé une nouvelle institution gouvernementale en 2020, chargée d’enquêter sur d’éventuels plagiats, falsifications ou fabrications de documents. En tant qu’organe indépendant, elle s’occupe de cas qui étaient auparavant traités à l’interne des universités suédoises. Pour l’année 2020, elle a reçu 46 dénonciations, soit trois fois plus qu’attendu. Au final, quatre chercheur-euse-s ont été exposé-e-s.

Peter Allebeck, membre du Conseil national d’évaluation des malversations dans le domaine de la recherche (Npof) attribue ce nombre élevé à une pression exercé sur les chercheur-euse-s de publier constamment afin de trouver de fonds. Pris dans une logique de «publish or perish» («la publication ou la mort»), les scientifiques finissent alors parfois par plagier, falsifier, voir même fabriquer des données.

En Suisse, ces enquêtes sont menés par les universités mêmes. Cependant, selon le président du conseil de la recherche du Fonds national suisse Matthias Egger, cela ne suffit pas. «Une autorité légale serait difficile à mettre en place dans un pays fédéral, mais nous réfléchissons avec nos partenaires à une commission centrale qui offrirait ses compétences pour des cas où les universités sont en difficulté, avec l’aide d’experts internationaux.»

Débat entre Yves Flückiger, recteur de l’UNIGE, président de swissuniversities, Ola Söderström, président de la division Sciences humaines et sociales du FNS, Verity Elston, responsable conseil en carrières, doctorat et postdoctorat au Graduate Campus de l’UNIL, et Céline Guérin, docteur en neurosciences, sur la question s’il y a trop de doctorant-e-s en Suisse, si leur encadrement est d’une qualité suffisante et s’il y a besoin de ces personnes hautement spécialisées sur le marché de travail.

Verity Elston estime que les compétences acquises pendant le doctorat sont reconnues sur le marché de travail, et que ce profil est de plus en plus recherché.

Quant à la pression de publier que ressentent beaucoup de chercheur-e-s (le «publish or perish»), Ola Söderström explique que le FNS est considéré pionnier, en mettant en place l’application de la Déclaration de San Francisco, qui vise à sortir d’une logique purement quantitative où c’est le facteur d’impact qui est le critère d’évaluation d’une personne lors d’un recrutement au profit d’une évaluation qualitative de la recherche par des pairs.

Yves Flückiger avance qu’il faudrait dès le départ du doctorat expliquer «les règles du jeu» d’une carrière académique, mais que les directeurs-trices de thèse devraient également «être plus présent» et se sentir plus responsables du devenir de leur docorant-e-s. Par ailleurs, il juge qu’il serait intéressant de mieux valoriser le succès des ancien-ne-s doctorant-e-s encadrés par les directeurs-trices. Il faudrait, par ailleurs, songer à limiter le nombre de doctorant-e-s par professeur-e suite à une sélection au départ plus stricte, comme cela se fait par exemple à l’Institut d’études politiques de Paris. En réponse, Ola Söderström dit que la Suisse ne forme pas trop de cheurcheur-e-s, mais qu’il vaudrait la peine de mettre en place un mentorat des doctorant-e-s par des personnes qui ne sont pas leurs supérieur-e-s hiérarchiques. En outre, selon lui, il n’y a pas encore assez de «postes intermédiaires» stables du type «tenure track».

Un récent sondage de 6’000 doctorant-e-s du monde entier et de différents domaines scientifiques révèle «des frustrations profondes et généralisées à l’égard de la formation, de l’équilibre travail-vie personnelle, des incidents d’intimidation et de harcèlement et des perspectives d’emploi floues. Une question sur la santé mentale – posée pour la première fois à tous les répondants – a mis en lumière certains des effets les plus troublants de l’enseignement supérieur. Plus du tiers des répondants (36 %) ont dit qu’ils avaient demandé de l’aide pour traiter l’anxiété ou la dépression causée par leurs études doctorales. En 2017, c’étaient 29%, et, comme le dit l’éditorial de Nature: «Les choses semblent empirer». Il continue: «La solution à cette crise naissante ne réside pas seulement dans le fait que les établissements fassent davantage pour offrir un soutien en santé mentale sur le campus et plus de formation aux superviseurs – aussi essentielles que soient ces mesures. Il s’agit aussi de reconnaître que la mauvaise santé mentale est, du moins en partie, la conséquence d’une trop grande importance accordée à la mesure du rendement – une chose dont les bailleurs de fonds, les établissements universitaires, les revues et les éditeurs doivent tous prendre la responsabilité.»

Pierre Vandergheynst, Vice-président pour l’éducation à l’EPFL, dénonce des manques dans le système d’évaluation par les pairs. Les experts seraient sous-sollicités et auraient très peu de temps pour rendre leurs conclusions. Par ailleurs, «cette tâche n’est généralement pas reconnue dans les évaluations ou processus de promotion d’un scientifique. «Enfin, le nombre d’experts par article étant relativement faible (souvent pas plus de trois ou quatre), les rapports sont bâclés et les erreurs ou les fraudes passent le filtre du peer review.» La convention DORA (Declaration of Research Assessment) signé par de nombreuses institutions de recherche, permettrait à réaliser cet objectif, mais «les bonnes intentions ne sont pas suivies par des actes, surtout quand les universités cèdent à la demande de professionnaliser leur management, devenant ainsi friandes de métriques de performance.» Pierre Vandergheynst propose ensuite cinq mesures pour améliorer l’évaluation par les pairs.

Suite à la mise en ligne d’une annonce pour un poste de stagiaire postdoctoral, un professeur de l’École Polytechnique Fédérale de Zurich (EPFZ) est sous le feux des critiques.

En effet, l’offre d’emploi stipule que seuls les candidats ayant déjà publié dans un journal à fort impact – soit parmi les magazines jouissant de la meilleure réputation, tels que « Nature » et « Science » – seraient pris en considération.

Il est important de savoir que les chercheurs sont souvent jugés en fonction de l’endroit où ils ont publié et de la quantité publiée. Sans publication pas de reconnaissance. Depuis des années, les universités et l’EPFZ luttent contre une telle pratique auprès des scientifiques. Une déclaration internationale a été signée qui inclut, entre autre, la renonciation aux méthodes de mesure fondées sur la publication.

L’auteur de l’annonce, un jeune professeur ne travaillant à l’EPFZ que depuis février, s’est rapidement excusé: «Mon comportement ne reflète pas le point de vue de l’EPFZ Zurich […] Je m’excuse auprès de l’EPFZ et de toute la communauté scientifique.»