Thème: évaluation par des pairs

Actuellement, la recherche d’erreurs dans les articles publiés n’est ni systématique ni récompensée. Par rapport à l’approche ad hoc actuelle, « les découvertes significatives par dollar dépensé seraient en fait plus élevées avec un certain degré de contrôle systématique des erreurs », affirme Ian Hussey, méta-scientifique à l’Université de Berne. «Et un système sérieux de détection des erreurs nécessite des ressources, y ajoute Malte Elson, psychologue à l’Université de Berne. «On ne peut pas s’attendre à ce qu’il fonctionne gratuitement.» Ce dernier et ses collègues ont donc lancé le projet Estimating the Reliability and Robustness of Research (ERROR) en février pour changer cela, qui rémunère des réviseurs qui vérifient les articles de psychologie ou liés à la psychologie les plus cités pour détecter les erreurs de code, d’analyses statistiques et de citations de référence.

Ce projet est financé par le programme Humans in Digital Transformation, un fonds destiné à promouvoir une stratégie de numérisation à l’Université de Berne, avec un soutien de quatre ans et 250’000 francs suisses, les réviseurs sont payés jusqu’à 1’000 francs pour chaque article qu’ils vérifient. Ils reçoivent une prime pour toutes les erreurs qu’ils trouvent, avec des primes plus importantes pour les erreurs plus graves – par exemple, celles qui donnent lieu à un avis de correction majeur ou à une rétractation – jusqu’à un maximum de 2’500 francs. Cette prime s’inspire des programmes de «bug bounty» que les entreprises technologiques, telles que Microsoft et Google, offrent aux pirates informatiques qui trouvent et signalent des failles dans leurs produits.

Pour maximiser l’impact de ses efforts, ERROR hiérarchise les articles les plus cités et contacte les auteurs des études pour leur demander l’autorisation d’examiner leurs travaux. «Pour qu’ERROR soit une réussite, il est important que tout le monde soit d’accord», explique M. Elson, mais l’équipe doit également avoir accès aux données et au code sous-jacents de chaque article, ce que seuls les auteurs peuvent fournir. Et les auteurs sont également rémunérés : 250 francs pour répondre aux questions des évaluateurs et mettre les données à disposition, et 250 francs supplémentaires si l’évaluateur ne trouve que des erreurs mineures ou pas d’erreurs du tout.

Dritjon Gruda, Professeur adjoint en comportement organisationnel à l’Université nationale d’Irlande à Maynooth, raconte les défis rencontrés lorsqu’on soumet un article à une revue. Pendant la pandémie de COVID-19 il a soumis, avec ses collègues, «un article à une revue de premier plan dans [leur] domaine […]. Il s’agissait d’un article urgent, car les gens commençaient à s’adapter au fur et à mesure que la pandémie s’accélérait. L’article est resté en suspens pendant plusieurs mois sans même être soumis à un examen par les pairs. Les nombreux courriels envoyés à la revue n’ont rien donné. [Ils ont] dû retirer l’article et le soumettre ailleurs, perdant ainsi un temps précieux. Cette situation aurait pu être évitée [s’ils avaient] été autorisés à soumettre le manuscrit ailleurs simultanément».

En effet, il est interdit de soumettre simultanément un article à plusieurs revues. Monsieur Gruda explique néanmoins que cette interdiction «semble dépassée et, parfois, grossièrement injuste». Selon lui, la numérisation permet aujourd’hui de pouvoir  adapter les normes de l’édition «aux besoins et au rythme de la recherche contemporaine». En effet, l’interdiction entrave non seulement la carrière des chercheur·es, mais aussi «la rapidité de la diffusion scientifique, un facteur crucial dans de nombreux domaines tels que la science du climat, la santé et la médecine, où le partage des connaissances en temps opportun est primordial. La prolifération rapide des articles préimprimés lors de la pandémie de COVID-19 a démontré les avantages d’un partage rapide de l’information, même si ces articles n’ont pas encore été examinés par des pairs».

Le professeur en histoire de l’Université de Saint-Gall Caspar Hirschi, estime que le processus d’examen par des pairs est «comme le bitcoin: surestimée, susceptible à des abus et énergivore».

Il estime que ce processus est inutile, «puisque la critique publique fait du bon travail», en accélérant les sciences tout en encourageant l’interdisciplinarité et en nivelant les hiérarchies.

Cette période remet en question l’importance des journaux. Caspar Hirschi fait allusion à Lancetgate – deux articles, paru dans des revues prestigieuses, qui ont influencé la politique, mais qui ont du être rétractés parce que la recherche avait été faite par une entreprise douteuse, avec des données faussés et un collectif d’auteurs suspect.

«L’échec de la revue par des pairs fait partie du système. Des expériences ont démontré que les évaluateurs ne détectent pas les erreurs grossières, et – sous la protection de l’anonymat – règlent parfois des comptes ou volent des résultats. Parce que le peer-review est surévalué, les chercheurs ne sont pas assez critiques avec les conclusions.»

«[…] Si cette crise a démontré l’importance de la parole des chercheurs pour fonder les décisions de santé publique, elle a aussi rappelé que cette parole est questionnable. Sans forcément remettre en doute la confiance générale accordée à la science, ces nouvelles questions pourraient pousser la communauté de la recherche mais aussi les éditeurs des journaux spécialisés à revoir certaines de leurs pratiques, et à repenser leur manière de communiquer.»

«Comment octroyer des fonds à la recherche de la manière la plus juste et la plus efficace? Des scientifiques estiment que le système en place dans de nombreux pays, qui repose sur l’évaluation par des experts (peer review), n’atteint pas pleinement ses objectifs. Comme réponse, ils proposent de procéder par tirage au sort, une réflexion qui existe aussi pour la publication d’articles scientifiques et les nominations à des postes académiques. […] Le système de loterie est encore bien loin de faire l’unanimité. Mais, petit à petit, cette idée encore jugée folle il y a une décennie connaît un écho grandissant.» L’article mentionne également des instances où ce système a été appliqué en Suisse et à l’international.

«Les chercheuses qui déposent une demande de soutien pour leur projet de recherche au Fonds national suisse (FNS) reçoivent des évaluations moins favorables que leurs collègues masculins. C’est ce qui ressort d’une étude du FNS sur les biais dans le peer review (l’examen de ces requêtes par des experts externes).»

Pierre Vandergheynst, Vice-président pour l’éducation à l’EPFL, dénonce des manques dans le système d’évaluation par les pairs. Les experts seraient sous-sollicités et auraient très peu de temps pour rendre leurs conclusions. Par ailleurs, «cette tâche n’est généralement pas reconnue dans les évaluations ou processus de promotion d’un scientifique. «Enfin, le nombre d’experts par article étant relativement faible (souvent pas plus de trois ou quatre), les rapports sont bâclés et les erreurs ou les fraudes passent le filtre du peer review.» La convention DORA (Declaration of Research Assessment) signé par de nombreuses institutions de recherche, permettrait à réaliser cet objectif, mais «les bonnes intentions ne sont pas suivies par des actes, surtout quand les universités cèdent à la demande de professionnaliser leur management, devenant ainsi friandes de métriques de performance.» Pierre Vandergheynst propose ensuite cinq mesures pour améliorer l’évaluation par les pairs.

Professeur au Walter and Eliza Hall Institute de Melbourne, qui contribue au site américain Retraction Watch, spécialisé dans le suivi des articles retirés ou corrigés, que « sans évaluation, environ 2% des articles publiés seraient corrects, reproductibles et intéressants. Grâce à l’évaluation par les pairs, on arrive entre 10 et 50% ». Or, Windship Herr, biologiste, Professeur à l’UNIL et ancien éditeur d’une revue scientifique avertit que « Le fait qu’une étude ait été évaluée par les pairs ne dit pas grand-chose sur sa qualité ». Aussi, les relecteur·rice·s d’articles peuvent difficilement en vérifier les détails pratiques. Ainsi, en sciences expérimentales, un lecteur qui veut être certain qu’un résultat publié est valide n’a pas d’autre choix que d’essayer de le reproduire dans son propre laboratoire, si cela est possible (pas toutes les expériences sont reproductibles). Une des solutions proposées consiste à travailler en double aveugle : les relecteurs ne connaissent pas les auteurs des manuscrits qu’ils critiquent et devraient ainsi être plus objectifs, car, selon David Vaux, « les relecteurs sont plus influencés par la réputation d’un auteur que par une lecture attentive de son article. ».