Thème: évaluation par des pairs

Une analyse inédite de Nature révèle les institutions où les rétractations sont les plus fréquentes. Les données de Retraction Watch indiquent une nette tendance à l’augmentation des rétractations au cours de la dernière décennie.

Ayant rejoint The Coalition for Advancing Research Assessment (CoARA) en 2022, swissuniversities a été invitée à partager son plan d’action concernant la mise en œuvre des engagements fondamentaux de l’accord CoARA, concernant la réforme des méthodes et des processus d’évaluation de la recherche, des chercheur·euses et des organismes de recherche. Dans ce cadre, swissuniversities a publié son plan dans un plan d’action qui sera mis à jour périodiquement. Actuellement, il comprend deux dimensions principales:

• Encourager et coordonner les discussions critiques, notamment sur le thème de la réforme de l’évaluation de la recherche, et prendre en compte l’évaluation de la recherche dans l’élaboration des politiques. «Swissuniversities reconnaît la nécessité d’élargir les critères d’évaluation de la recherche, de prendre en compte un ensemble plus diversifié de contributions dans l’évaluation des carrières académiques et d’abandonner l’utilisation inappropriée des facteurs d’impact. En outre, swissuniversities facilite et encourage les discussions concernant la participation des institutions à certains systèmes de classement.» «Swissuniversities travaille spécifiquement sur le développement de l’évaluation de la recherche dans la perspective de l’Open Science. Ce thème a été abordé, entre autres, dans deux stratégies nationales qui se sont jusqu’à présent concentrées sur l’open access (The OA Strategy) et l’open research data (The ORD Strategy).»
• Soutenir des projets et des initiatives visant à faire progresser l’évaluation de la recherche, par le biais de la distribution de fonds fédéraux.

La RTS a analysé la base de données Retraction Watch, et en ressort que «l’explosion des rétractations, ou retraits, d’articles scientifiques est une réalité grandissante dans la recherche suisse».

L’article met principalement en évidence les éléments suivants :

• «le nombre de rétractations de papiers scientifiques dans le monde suit une courbe exponentielle depuis le début des années 2000» et la Suisse «suit une courbe similaire à la moyenne mondiale»
• un total de 304 rétractations ont eu lieu en Suisse depuis 1991, et trois-quarts de ces rétractations ont eu lieu depuis 2015
• «près de la moitié du corpus concernent des recherches liées à la santé ou à la médecine», un domaine qui «repose sur des modes d’administration de la preuve scientifique qui sont historiquement faciles à fausser et difficiles à invalider»
• «on compte notamment 105 papiers avec des erreurs avérées (dans les données, dans les images, dans l’analyse) et 90 cas où le travail des scientifiques suscite des questions. On retrouve aussi 28 cas de plagiats ainsi que 18 falsifications.»

Pour Andreas Mortensen, vice-président associé pour la recherche de l’EPFL, l’augmentation des rétractations de travaux suisses n’est en aucun cas un problème. «J’estime que cette augmentation témoigne surtout d’un accroissement de la rigueur en matière de publication scientifique.» Katharina Froom, rectrice de l’Université de Fribourg, abonde dans le même sens. Elle note également que la hausse des publications observée ces dernières années induit aussi mécaniquement une hausse des rétractations.

Pour Andreas Mortensen, un renforcement des protocoles de vérification des résultats avant publication serait un «coût en travail et ralentissement bien supérieur au gain en rigueur». Katharina Froom, pour sa part, souligne que la résolution de cette question ne peut se faire que par le biais d’une coopération internationale.

Des fraudes scientifiques en neurosciences sont dénoncées en parallèle en Suisse et aux Etats-Unis. Il s’agit dans les deux cas d’accusations de manipulation et de réutilisation d’images.

Au cours de ces derniers mois, Ariano Aguzzi, une «coriphée» du domaine des prions de l’Université de Zurich, a dû retirer ou corriger certaines de ses publications. Alarmée d’irrégularités il y déjà quelques années, la direction de l’université n’avait toutefois pas pris de mesures, «ce qui s’avère aujourd’hui très discutable»selon le Sonntagsblick, «[c]ar quatre ans après la fin de l’enquête [M.] Aguzzi a dû retirer l’un de ses travaux, jugé pourtant conforme aux attentes («sauber») par la direction de l’université, quatre ans après la fin de l’enquête. Pour un autre travail, qui avait également reçu la bénédiction de la direction de l’université en 2020, une correction a été effectuée en été 2024.»

Une autre point critiqué par le SonntagsBilck, est qu’il aurait utilisé à tort un titre de «MD-PhD» dans sa signature e-mail, sur Twitter et dans ses publications scientifiques, alors qu’il n’aurait jamais suivi un programme PhD (il est titulaire d’un doctorat en médecine humaine et de plusieurs doctorats honorifiques). L’Université de Zurich estime que c’était une erreur de traduction par la faculté de médecine, pas la sienne.

Aux Etats-Unis, un chercheur est accusé par la revue Science d’avoir trafiqué des images dans ses recherches, relate la SRF. Les études portaient principalement sur les maladies de Parkinson et Alzheimer. Eliezer Masliah aurait réutilisé des images pour des expériences totalement différentes, et à «des dizaines d’années» d’intervalles. Pas moins de 132 articles sont concernés, ce qui remet dès lors en questions un grand nombre de résultats scientifiques de ce domaine. La question de savoir qui était complice de ces fraudes est soulevée dans la dénonciation de Science, mais reste ouverte.

Actuellement, la recherche d’erreurs dans les articles publiés n’est ni systématique ni récompensée. Par rapport à l’approche ad hoc actuelle, « les découvertes significatives par dollar dépensé seraient en fait plus élevées avec un certain degré de contrôle systématique des erreurs », affirme Ian Hussey, méta-scientifique à l’Université de Berne. «Et un système sérieux de détection des erreurs nécessite des ressources, y ajoute Malte Elson, psychologue à l’Université de Berne. «On ne peut pas s’attendre à ce qu’il fonctionne gratuitement.» Ce dernier et ses collègues ont donc lancé le projet Estimating the Reliability and Robustness of Research (ERROR) en février pour changer cela, qui rémunère des réviseurs qui vérifient les articles de psychologie ou liés à la psychologie les plus cités pour détecter les erreurs de code, d’analyses statistiques et de citations de référence.

Ce projet est financé par le programme Humans in Digital Transformation, un fonds destiné à promouvoir une stratégie de numérisation à l’Université de Berne, avec un soutien de quatre ans et 250’000 francs suisses, les réviseurs sont payés jusqu’à 1’000 francs pour chaque article qu’ils vérifient. Ils reçoivent une prime pour toutes les erreurs qu’ils trouvent, avec des primes plus importantes pour les erreurs plus graves – par exemple, celles qui donnent lieu à un avis de correction majeur ou à une rétractation – jusqu’à un maximum de 2’500 francs. Cette prime s’inspire des programmes de «bug bounty» que les entreprises technologiques, telles que Microsoft et Google, offrent aux pirates informatiques qui trouvent et signalent des failles dans leurs produits.

Pour maximiser l’impact de ses efforts, ERROR hiérarchise les articles les plus cités et contacte les auteurs des études pour leur demander l’autorisation d’examiner leurs travaux. «Pour qu’ERROR soit une réussite, il est important que tout le monde soit d’accord», explique M. Elson, mais l’équipe doit également avoir accès aux données et au code sous-jacents de chaque article, ce que seuls les auteurs peuvent fournir. Et les auteurs sont également rémunérés : 250 francs pour répondre aux questions des évaluateurs et mettre les données à disposition, et 250 francs supplémentaires si l’évaluateur ne trouve que des erreurs mineures ou pas d’erreurs du tout.

Dritjon Gruda, Professeur adjoint en comportement organisationnel à l’Université nationale d’Irlande à Maynooth, raconte les défis rencontrés lorsqu’on soumet un article à une revue. Pendant la pandémie de COVID-19 il a soumis, avec ses collègues, «un article à une revue de premier plan dans [leur] domaine […]. Il s’agissait d’un article urgent, car les gens commençaient à s’adapter au fur et à mesure que la pandémie s’accélérait. L’article est resté en suspens pendant plusieurs mois sans même être soumis à un examen par les pairs. Les nombreux courriels envoyés à la revue n’ont rien donné. [Ils ont] dû retirer l’article et le soumettre ailleurs, perdant ainsi un temps précieux. Cette situation aurait pu être évitée [s’ils avaient] été autorisés à soumettre le manuscrit ailleurs simultanément».

En effet, il est interdit de soumettre simultanément un article à plusieurs revues. Monsieur Gruda explique néanmoins que cette interdiction «semble dépassée et, parfois, grossièrement injuste». Selon lui, la numérisation permet aujourd’hui de pouvoir  adapter les normes de l’édition «aux besoins et au rythme de la recherche contemporaine». En effet, l’interdiction entrave non seulement la carrière des chercheur·es, mais aussi «la rapidité de la diffusion scientifique, un facteur crucial dans de nombreux domaines tels que la science du climat, la santé et la médecine, où le partage des connaissances en temps opportun est primordial. La prolifération rapide des articles préimprimés lors de la pandémie de COVID-19 a démontré les avantages d’un partage rapide de l’information, même si ces articles n’ont pas encore été examinés par des pairs».

Le professeur en histoire de l’Université de Saint-Gall Caspar Hirschi, estime que le processus d’examen par des pairs est «comme le bitcoin: surestimée, susceptible à des abus et énergivore».

Il estime que ce processus est inutile, «puisque la critique publique fait du bon travail», en accélérant les sciences tout en encourageant l’interdisciplinarité et en nivelant les hiérarchies.

Cette période remet en question l’importance des journaux. Caspar Hirschi fait allusion à Lancetgate – deux articles, paru dans des revues prestigieuses, qui ont influencé la politique, mais qui ont du être rétractés parce que la recherche avait été faite par une entreprise douteuse, avec des données faussés et un collectif d’auteurs suspect.

«L’échec de la revue par des pairs fait partie du système. Des expériences ont démontré que les évaluateurs ne détectent pas les erreurs grossières, et – sous la protection de l’anonymat – règlent parfois des comptes ou volent des résultats. Parce que le peer-review est surévalué, les chercheurs ne sont pas assez critiques avec les conclusions.»

«[…] Si cette crise a démontré l’importance de la parole des chercheurs pour fonder les décisions de santé publique, elle a aussi rappelé que cette parole est questionnable. Sans forcément remettre en doute la confiance générale accordée à la science, ces nouvelles questions pourraient pousser la communauté de la recherche mais aussi les éditeurs des journaux spécialisés à revoir certaines de leurs pratiques, et à repenser leur manière de communiquer.»

«Comment octroyer des fonds à la recherche de la manière la plus juste et la plus efficace? Des scientifiques estiment que le système en place dans de nombreux pays, qui repose sur l’évaluation par des experts (peer review), n’atteint pas pleinement ses objectifs. Comme réponse, ils proposent de procéder par tirage au sort, une réflexion qui existe aussi pour la publication d’articles scientifiques et les nominations à des postes académiques. […] Le système de loterie est encore bien loin de faire l’unanimité. Mais, petit à petit, cette idée encore jugée folle il y a une décennie connaît un écho grandissant.» L’article mentionne également des instances où ce système a été appliqué en Suisse et à l’international.

«Les chercheuses qui déposent une demande de soutien pour leur projet de recherche au Fonds national suisse (FNS) reçoivent des évaluations moins favorables que leurs collègues masculins. C’est ce qui ressort d’une étude du FNS sur les biais dans le peer review (l’examen de ces requêtes par des experts externes).»

Pierre Vandergheynst, Vice-président pour l’éducation à l’EPFL, dénonce des manques dans le système d’évaluation par les pairs. Les experts seraient sous-sollicités et auraient très peu de temps pour rendre leurs conclusions. Par ailleurs, «cette tâche n’est généralement pas reconnue dans les évaluations ou processus de promotion d’un scientifique. «Enfin, le nombre d’experts par article étant relativement faible (souvent pas plus de trois ou quatre), les rapports sont bâclés et les erreurs ou les fraudes passent le filtre du peer review.» La convention DORA (Declaration of Research Assessment) signé par de nombreuses institutions de recherche, permettrait à réaliser cet objectif, mais «les bonnes intentions ne sont pas suivies par des actes, surtout quand les universités cèdent à la demande de professionnaliser leur management, devenant ainsi friandes de métriques de performance.» Pierre Vandergheynst propose ensuite cinq mesures pour améliorer l’évaluation par les pairs.

Professeur au Walter and Eliza Hall Institute de Melbourne, qui contribue au site américain Retraction Watch, spécialisé dans le suivi des articles retirés ou corrigés, que « sans évaluation, environ 2% des articles publiés seraient corrects, reproductibles et intéressants. Grâce à l’évaluation par les pairs, on arrive entre 10 et 50% ». Or, Windship Herr, biologiste, Professeur à l’UNIL et ancien éditeur d’une revue scientifique avertit que « Le fait qu’une étude ait été évaluée par les pairs ne dit pas grand-chose sur sa qualité ». Aussi, les relecteur·rice·s d’articles peuvent difficilement en vérifier les détails pratiques. Ainsi, en sciences expérimentales, un lecteur qui veut être certain qu’un résultat publié est valide n’a pas d’autre choix que d’essayer de le reproduire dans son propre laboratoire, si cela est possible (pas toutes les expériences sont reproductibles). Une des solutions proposées consiste à travailler en double aveugle : les relecteurs ne connaissent pas les auteurs des manuscrits qu’ils critiquent et devraient ainsi être plus objectifs, car, selon David Vaux, « les relecteurs sont plus influencés par la réputation d’un auteur que par une lecture attentive de son article. ».