Thème: évaluation – chercheur·e·s

Malcom Macleod, directeur académique pour l’amélioration et l’intégrité de la recherche l’Université d’Edimbourg et professeur en neurologie et neuroscience translationelle, estime que les universités devraient se concentrer sur des mesures pour améliorer l’intégrité de la recherche plutôt que l’intégrité des chercheur-e-s. «Si la qualité du travail de chaque scientifique pouvait être améliorée ne serait-ce qu’un peu, l’impact global sur l’intégrité de la recherche serait énorme. Je me suis efforcé de comprendre comment les institutions peuvent encourager des améliorations progressives et de grande envergure. Deux choses sont nécessaires : un changement collectif de mentalité et une évolution vers des mesures appropriées.»

Dans le monde de la publication scientifique française, un changement de paradigme s’annonce : l’instrument d’évaluation qui mesure l’impact des journaux scientifiques se fait abandonner par de plus en plus de financeurs de la recherche. Il s’agit d’un système de calcul qui indique combien de fois un·e chercheur·euse est cité dans des articles de recherche. A travers les années, il s’est développé comme le moyen privilégié pour classer les chercheur·euse·s et de rendre compte de leur réputation. Cependant, il mesure plus souvent la quantité de publications que leur qualité.

Pour cette raison, le Centre national de la recherche scientifique (CNRS) ne demandera plus la liste de publications de ses candidat·e·s. En revanche, il s’intéressera plus précisément à différentes facettes d’un choix limité de publications pour évaluer sa qualité. Pour Chérifa Boukacem, professeure en science de l’information de l’université Claude-Bernard-Lyon, il s’agit d’un véritable changement de culture : «On passe d’un paradigme quantitatif à un paradigme plus narratif, dans lequel le chercheur explique ses contributions et où plusieurs facettes de l’activité sont prises en compte ».

«Tous les essais cliniques ne sont pas utiles, au sens où ils feraient progresser la médecine. Certains sont de qualité médiocre, d’autres abandonnés en cours de route, d’autres encore si mal rapportés que leur apport est difficile à évaluer. Une étude récente, publiée dans Jama Network Open, appuie ce constat dégrisant dans le domaine de l’oncologie.»

Selon une étude de l’Université de Genève et les HUG, publiée dans le British Medical Journal, entre mars et mai 2020, le nombre de publications scientifiques rédigées par des femmes en tant que «premier-ère auteur-e» a connu une chute de 20%. Pour les auteur-e-s de l’étude, il est important que ces chiffres soient pris en compte lors de l’évaluation des carrières.

La Déclaration [de San Francisco] sur l’évaluation de la recherche DORA mettra à disposition 1,2 millions de dollars pour identifier et publier les critères utilisés par les universités pour engager et promouvoir des chercheur·e·s. Les résultats seront publiés dans un tableau de bord. «Quand les critères sont visibles et transparents, les universités peuvent être tenues responsables», dit la directrice du programme Anna Hatch. Par ailleurs, «Les chercheurs sauront comment leurs contributions seront mesurées, ce qui leur permettra de mieux se défendre.»

Selon un nouveau document de «vision», L’Université d’Utrecht soutient la science en libre accès et «vise à accélérer et à améliorer la science et l’érudition («scholarship») ainsi que leur impact sur la société. La science ouverte exige un engagement total en faveur de l’ouverture, fondé sur une vision globale des relations avec la société. La transition en cours vers la science ouverte nous oblige à reconsidérer la manière dont nous reconnaissons et récompensons les membres de la communauté universitaire. Elle devrait privilégier le travail d’équipe par rapport à l’individualisme et appelle à une culture universitaire ouverte qui favorise la responsabilité, la reproductibilité, l’intégrité et la transparence, et où le partage (accès ouvert, données et logiciels FAIR) et l’engagement du public sont des pratiques quotidiennes normales.»

Les universités néerlandaises, d’autres instituts de recherche et centres médicaux universitaires ainsi que les bailleurs de fonds publics pour la recherche se distancient du facteur d’impact. Ils ont revu leur système collectif de reconnaissance et de récompenses et ont publié un exposé de position.

Tout d’abord, les parties reconnaissent que l’accent est mis unilatéralement sur les résultats de la recherche universitaire, ce qui entraîne une sous-évaluation des nombreux autres domaines dans lesquels les universitaires sont actifs. De plus, l’évaluation de la recherche se limite principalement aux mesures qui sont facilement quantifiables, confondant les chiffres avec la qualité universitaire et d’autres vertus.

Les institutions ont convenu de signer DORA pour la fin de l’année 2019. L’adaptation de la culture de la reconnaissance et de la récompense modifiera également les conventions collectives de travail et les profils fonctionnels des universités.

Selon un sondage de l’Association européenne des universités (EUA) dans 32 pays européens, un tiers des établissements rejettent la science ouverte dans les évaluations des chercheurs. Ces universités européennes considéraient que les articles publiés par un chercheur et leur capacité à obtenir un financement extérieur sont les plus importants pour évaluer leur carrière. Les contributions à la science ouverte et au libre accès ont été considérées comme les aspects les moins importants des travaux universitaires pour l’évaluation des chercheurs parmi une liste d’aspects présentés aux répondants.

Un nouvelle proposition concernant l’évaluation des articles par les pair·e·s a été faite par Dan Shechtman, Prix Nobel de chimie en 2011. D’après le scientifique, les universitaires devraient faire évaluer leurs articles par leurs collègues de l’université, avant de les soumettre à des revues. De cette manière, un tel examen interne permettrait d’éviter d’endommager les erreurs scientifiques et serait moins coûteux que de le confier à des expert·e·s. Bien que ce système d’évaluation ait prouvé son efficacité, il n’est que très peu utilisé par les institutions de recherche.

D’après le professeur Dan Shechtman, «Notre système de surveillance de la mauvaise science ne fonctionne pas très bien. Le problème réside dans le fait que l’examen par les pairs tend à se faire uniquement par le biais de revues, lesquelles envoient les articles à d’autres spécialistes dans ce domaine. (…) Mais les meilleurs scientifiques n’ont pas le temps pour cela [d’examiner les articles d’autres chercheurs] de sorte que ceux qui ont le temps pour cela… ne sont pas nécessairement les meilleurs experts.»

Le Conseil européen de doctorant·e·s et de chercheur·e·s «junior» (Eurodoc), l’Association alumni de Marie Curie et la «Young Academy», qui représentent 100’000 chercheur·e·s en Europe, soutiennent généralement le Plan S pour le libre accès et ont proposé plusieurs suggestions pour son implantation, notamment concernant le droit d’auteur. Les scientifiques devraient, selon eux, avoir le droit d’utiliser une licence pour restreindre l’utilisation de leur œuvre par d’autres personnes pour des travaux dérivés, en raison de préoccupations concernant les fausses déclarations dans les sciences humaines et sociales.  Les trois organisations ont par ailleurs réaffirmé que le Plan S devrait perturber le moins possible les thèses de doctorat, soutenir les sociétés de publication sans frais de droit d’auteur et moderniser les outils d’évaluation des chercheur·e·s.

Jürg Steiner, Professeur en science politique à l’Université de Caroline du Nord et de Berne confirme les propos de Daniel Hürlimann, Professeur assistant en droit de l’économie à l’Université de Saint-Gall und Matthias Egger, Président du Conseil de recherche du Fonds national suisse (FNS), du 30 mai 2018 sur la distinction entre la qualité de la recherche dans les universités et le facteur d’impact. Selon Jürg Steiner, aux Etats-Unis, les universités feraient beaucoup d’efforts pour estimer les performances de recherche des professeur·e·s également de manière qualitative. L’estimation qualitative de la performance dans la recherche observe les décisions dites de «mandat» (««Tenure»-Entscheide»), sur la base desquelles les professeur·e·s assistant·e·s obtiennent un emploi fixe. Concrètement, les candidats doivent l’annoncer oralement ce qui présuppose que leurs publications seraient lues. En outre, Jürg Steiner estime que plus de concurrence dans la recherche est une bonne chose, mais il ne faut pas baser la créativité sur le facteur d’impact.