Évaluation par des pairs, vulnérable à la manipulation et aux abus. Quelles pistes de réforme?

Selon le journaliste Florian Sturm, l’évaluation scientifique par des pairs traverse actuellement une grande crise qui impacte la crédibilité de la science, cette dernière devant y trouver des solutions. Une des causes principales du problème résiderait dans l’augmentation croissante du nombre de nouvelles publications, qui met les éditeur·rices et évaluateur·rices dans l’impossibilité d’assurer un suivi de qualité. En effet, le système d’évaluation classique (établit dans les années 1960 seulement) aurait été conçu pour un nombre beaucoup plus réduit de chercheur·euses et de publications.

L’auteur pointe différents problèmes dans l’utilisation de l’évaluation scientifique par des pairs:

• des prompts cachés dans des publications, destinés à des IA auxquelles le travail d’évaluation aurait été délégué;
• le processus d’évaluation reste souvent opaque et sujet à des erreurs, il comprend de l’arbitraire et la subjectivité;
• certain·es expert·es bloquent délibérément les recherches qui contredisent les leurs ou utilisent des idées non publiées;
• les citations en échange d’une critique positive sont en augmentation;
• les évaluateur·rices ne sont pas rémunéré·es. Cela permet aux éditeur·rices d’économiser, mais rend difficile la recherche d’expert·es.

La suppression de l’évaluation par les pairs n’est actuellement pas envisagées, néanmoins plusieurs réformes sont actuellement en cours:

• les serveurs de préimpressions tels que arXiv, bioRxiv ou medRxiv sans évaluation par les pairs;
• une évaluation a posteriori, comme dans le cadre du projet Pubpeer;
• la revue britannique eLife ne rejette ni n’accepte les manuscrits suite à une évaluation par les pairs, mais publie tous les articles avec les commentaires et une évaluation de la solidité des preuves. Les auteur·rices peuvent les réviser, et une version finale officielle est ensuite publiée;
• le Fonds national suisse (FNS) utilise le tirage au sort lorsque deux demandes sont de facto équivalentes, et utilise de nouvelles méthodes depuis 2022;
• Peer Community In confie à la communauté scientifique, et non à un·e rédacteur·rice, la décision d’évaluer une préimpression. Ce modèle ouvert vise à séparer publication et évaluation, tout en renforçant transparence et crédibilité grâce à des avis publics;
• le chercheur italien Enzo Emanuele propose de professionnaliser l’évaluation scientifique avec des réviseur·euses certifié·es et rémunéré·es, financé·es par éditeur·rices ou institutions.

Finalement, dans l’évaluation scientifique actuelle par les pairs, les aides techniques, dont l’IA, sont promues par les éditeur·rices, mais uniquement à des fins de soutien. Des algorithmes et logiciels permettent d’aider à vérifier les identités, analyser les images ou contrôler les citations. Il faut néanmoins être attentif au fait que l’utilisation de l’IA dans le cadre de l’évaluation par les pairs peut s’avérer dangereuse pour des raisons de protection des données.