Thème: évaluation – chercheur·e·s

La publication récente du Fonds national suisse Horizons contient plusieurs articles concernant l’évaluation de la recherche, notamment par des paries («peer review»).

«Le système espagnol d’évaluation des scientifiques, très décrié, dans lequel le seul critère d’avancement de carrière est la publication d’articles, devrait être révisé dans le cadre de nouvelles propositions de l’Agence nationale d’évaluation et d’accréditation (ANECA).

Les réformes, annoncées au début du mois, prévoient pour la première fois que les chercheurs des universités publiques espagnoles soient évalués sur la base d’une série de résultats autres que les articles, et encouragent également la diffusion des résultats par l’intermédiaire de plates-formes en libre accès. De nombreux scientifiques se félicitent de cette initiative, estimant qu’elle aidera le monde universitaire à sortir d’un système qui a été décrit comme établissant une « dictature des articles ».»

«La littérature scientifique est polluée par de faux manuscrits produits par des paper mills ─des entreprises qui vendent de faux travaux et de fausses signatures à des chercheurs qui ont besoin de publications dans des revues pour leur CV.»

«Une analyse non-publiée communiquée à Nature suggère qu’au cours des deux dernières décennies, plus de 400 000 articles de recherche présentant de fortes similitudes textuelles avec des études connues produites par des paper mills ont été publiés. Environ 70 000 d’entre eux ont été publiés rien que l’année dernière […]. L’analyse estime que 1,5 à 2 % de tous les articles scientifiques publiés en 2022 ressemblent étroitement à des travaux produits par des paper mills. Parmi les articles de biologie et de médecine, ce taux s’élève à 3 %.» (Nature.com)

«L’homme derrière tout cela est Adam Day, directeur de la société londonienne «Clear Skies». Il a conçu une intelligence artificielle qui lit les bases de données scientifiques du monde entier et doit distinguer les travaux suspects de ceux qui ne le sont pas. Il le fait à la demande expresse et avec le soutien des revues spécialisées.»

Certains des plus grands se font avoir. Pour rappel, en 2021 la «Royal Society of Chemistry (RSC) de Londres a dû reconnaître […] qu’elle était tombée dans le piège de copieurs. Elle n’avait pas publié que des plagiats isolés, mais 69.» (Die Welt)

Le positionality statement (ou en français, la déclaration de position) est une pratique qui est en augmentation et qui divise le monde scientifique, selon le journal de Science. Ajouter à un article scientifique «[…] la race, l’ethnicité, la situation géographique, l’orientation sexuelle, l’identité de genre, le statut de handicap et le niveau de carrière […] sont déjà une pratique établie dans de nombreuses sciences sociales, telles que la sociologie et l’anthropologie.» Cette tendance semble également s’étendre aux autres domaines de la science et devient même un critère pour certains journaux.

Certain∙es chercheur∙es saluent le procédé tandis que d’autres le décrient. Pour Alejandra Núñez-de la Mora, anthropologue biologique à l’université de Veracruz, «[i]l s’agit d’une invitation à réfléchir plus largement au rôle du chercheur dans le travail qu’il tente de comprendre.» Patricia Nayna Schwerdtle, «qui étudie la santé publique mondiale à l’université de Heidelberg», n’est pas du même avis. «[Elle] trouve étonnant que [la publication de déclarations de position] soit si répandue sans qu’il soit prouvé qu’elle permette réellement d’atteindre les objectifs fixés.» Sa principale inquiétude est «[…] que les déclarations de position ne servent qu’à donner des signaux de vertu et passent sous silence des questions plus profondes, telles que la crise de la reproductibilité dans le domaine scientifique.»

«Au moins une équipe de chercheurs étudie si ces déclarations ont l’effet escompté. Rose Oronje, chercheuse à l’African Institute for Development Policy, et ses collègues de la Liverpool School of Tropical Medicine évaluent les résultats de la publication de déclarations de réflexivité – une pratique similaire qui encourage les chercheurs engagés dans des collaborations mondiales à réfléchir à la manière dont leur travail reconnaît les communautés impliquées.»

Dritjon Gruda, Professeur adjoint en comportement organisationnel à l’Université nationale d’Irlande à Maynooth, raconte les défis rencontrés lorsqu’on soumet un article à une revue. Pendant la pandémie de COVID-19 il a soumis, avec ses collègues, «un article à une revue de premier plan dans [leur] domaine […]. Il s’agissait d’un article urgent, car les gens commençaient à s’adapter au fur et à mesure que la pandémie s’accélérait. L’article est resté en suspens pendant plusieurs mois sans même être soumis à un examen par les pairs. Les nombreux courriels envoyés à la revue n’ont rien donné. [Ils ont] dû retirer l’article et le soumettre ailleurs, perdant ainsi un temps précieux. Cette situation aurait pu être évitée [s’ils avaient] été autorisés à soumettre le manuscrit ailleurs simultanément».

En effet, il est interdit de soumettre simultanément un article à plusieurs revues. Monsieur Gruda explique néanmoins que cette interdiction «semble dépassée et, parfois, grossièrement injuste». Selon lui, la numérisation permet aujourd’hui de pouvoir  adapter les normes de l’édition «aux besoins et au rythme de la recherche contemporaine». En effet, l’interdiction entrave non seulement la carrière des chercheur·es, mais aussi «la rapidité de la diffusion scientifique, un facteur crucial dans de nombreux domaines tels que la science du climat, la santé et la médecine, où le partage des connaissances en temps opportun est primordial. La prolifération rapide des articles préimprimés lors de la pandémie de COVID-19 a démontré les avantages d’un partage rapide de l’information, même si ces articles n’ont pas encore été examinés par des pairs».

Deux chercheuses ont été chargées «par l’Université de Zurich d’étudier les raisons pour lesquelles les femmes étaient si peu représentées dans les hautes écoles». Par exemple, dans une discipline typiquement féminisée comme la médecine vétérinaire, «la part des femmes au niveau du bachelor est de 82% à Zurich, mais elle n’est plus que de 27% au niveau des postes de professeur·es ordinaires». Une enquête à grande échelle (10’000 participant·es) a été alors menée à l’École polytechnique fédérale de Zurich (EPFZ) et à l’Université de Zurich (UZH), et la conclusion est que de «nombreuses étudiantes n’ont pas ou n’ont que peu d’ambitions de carrière». Si «les femmes travaillant dans des disciplines masculines ont des ambitions de carrière beaucoup plus grandes» (39%), «les femmes qui étudient dans des disciplines féminines sont plutôt favorables à l’image traditionnelle de la famille, dans laquelle l’homme est le principal soutien de famille» (81%). (SonntagsZeitung)

Ainsi, «ce constat expliquerait le succès limité des mesures actuelles en faveur de l’égalité entre les femmes et les hommes». (20 minutes)

Les deux chercheuses concluent que «l’appel à des quotas de femmes ou à une garde d’enfants à prix réduit repose sur l’hypothèse que la sous-représentation des femmes dans les postes supérieurs disparaîtrait si elles bénéficiaient d’un traitement préférentiel en termes d’opportunités de carrière et de responsabilités familiales. Mais d’après [leurs] constatations, cette hypothèse n’est pas fondée» . Néanmoins, elles estiment que des actions doivent être faites pour les doctorantes ayant des enfants. En plus, les deux chercheuses estiment que lors de la nomination pour le poste de professeur·e, le tirage au sort serait le mécanisme plus juste non seulement envers les femmes mais aussi pour les hommes. (SonntagsZeitung)

«Les travaux relatifs à l’élaboration d’un accord sur la réforme de l’évaluation de la recherche ont débuté en janvier 2022 dans le cadre d’une collaboration entre Science Europe et l’European University Association (EUA). Ils ont été soutenus par la Commission européenne et à travers le monde, 350 organisations de 40 pays ont déjà fait part de leur intention de le signer.»

«Cet accord définit une direction commune pour des changements dans les pratiques d’évaluation de la recherche, des chercheur·ses et des institutions, dans le but général de maximiser la qualité et l’impact de la recherche. »

L’évaluation des enseignements par les étudiants, pratiquée dans les pays anglo-saxons, s’implante en France

«L’Université de Genève a signé l’«Accord sur la réforme de l’évaluation de la recherche» aux côtés de centaines d’organisations scientifiques. Le texte vise à injecter des critères qualitatifs dans un système majoritairement basé sur des indices quantitatifs.»

Mathias Binswanger est professeur d’économie politique à la Fachhochschule Nordwestschweiz à Olten et privat-docent à l’Université de Saint-Gall. Il a rédigé deux articles d’opinions dans lesquels il se plaint de la bureaucratie croissante dans les universités, autant pour les processus d’accréditation que pendant l’évaluation des scientifiques.

Dans le journal indique: «Il s’avère que la part du personnel administratif dans l’ensemble du personnel des universités suisses est passée de 17,7% à 19,2% entre 2013 et 2020. Et dans les hautes écoles spécialisées, la part correspondante est passée de 21,9% à 23,7%. En d’autres termes, près d’un quart des employés des hautes écoles spécialisées n’a rien à voir avec l’enseignement et la recherche, ni avec les services techniques ou la bibliothèque.»

Dans l’article du Weltwoche il se plaint des processus pour obtenir des fonds de recherche européens, en particulier, qu’il juge infantilisant et entravant la liberté académique. Par ailleurs, il regrette qu’en sciences sociales, il y est aussi attendu depuis quelque temps que le résultat de recherche soit «politiquement correct». Ce dernier propos est partagé par le professeur émérite allemand, spécialiste des médias Norbert Bolz, qui parle, en plus d’un «abrutissement des intellectuels» (NZZ).

Dès le 3 octobre 2022, le FNS utilisera le nouveau format de CV – d’ores et déjà disponible – dans son instrument «encouragement de projets». Ce nouveau format «narratif» SciCV vise à mettre en valeur les réalisations des scientifiques au-delà des listes de publications, et de se mettre ainsi conforme à la Déclaration de San Francisco sur l’évaluation de la recherche (DORA) de 2012.

Selon une étude de l’Université de Leiden, les répondant-es à l’enquête sur le SciCV ont estimé que les éléments narratifs du nouveau format étaient les plus utiles. Cependant, certaines personnes demandant des subventions n’ont pas apprécié de devoir passer autant de temps à rédiger ces descriptions. Et certains évaluateurs-rices ont critiqué l’utilisation d’un langage «vantard» dans les récits, comme «le premier», «expert», «unique» et «innovant».

Une autre caractéristique jugée utile est la preuve de l’«âge académique» des candidat-es. Cet âge est défini comme le nombre d’années en équivalent temps plein (ETP) travaillées dans le milieu universitaire et est calculé à partir de l’année de la première publication universitaire, plutôt que de l’année d’obtention de leur diplôme d’études supérieures. Cependant, certains examinateurs-rices et candidat-es n’étaient pas d’accord avec la façon dont ce calcul était affecté par le congé parental.

Par ailleurs, l’indicateur le plus critiqué dans le SciCV est le h-index, qui quantifie la productivité des scientifiques et l’impact de leur publications.

Les institutions de recherche allemandes mettent en garde contre une réforme centralisée («top down») de l’évaluation de la recherche en Europe, alors que la Commission européenne et les parties prenantes s’apprêtent à signer un projet d’accord sur de nouvelles lignes directrices pour l’évaluation des chercheurs.

«Désormais, le FNS applique une procédure d’évaluation unifiée pour ses instruments d’encouragement. Diverses nouveautés rendent la sélection des meilleurs projets et des meilleurs scientifiques encore plus équitable et efficace.»

Antoine Chollet du Syndicat SSP Vaud se positionne par rapport au programme européen pour la recherche Horizon Europe. «Contre le discours managérial porté par Swissuniversities et economiesuisse, il faut […] rappeler que la vraie excellence de la recherche s’obtient par la stabilité des postes, les meilleures conditions de travail possibles pour tout le personnel des universités, le temps laissé pour explorer leurs terrains de recherche en toute liberté, et un financement qui vise ces objectifs. Ce n’est le cas ni du FNS, ni de l’ERC, et c’est cette logique qu’il faut changer de toute urgence.»

Selon l’éditorial de Nature, «La révolution des données ouvertes n’aura lieu que si le système de recherche accorde autant d’importance au partage des données qu’à la paternité des articles. […] si les données ouvertes étaient officiellement reconnues au même titre que les articles de recherche dans les processus d’évaluation, de recrutement et de promotion, les groupes de recherche perdraient au moins une incitation à garder leurs ensembles de données fermés.»

«Les scientifiques de la communauté des jeunes scientifiques du Forum économique mondial souhaitent que la valeur sociale de la recherche scientifique soit mieux reconnue. Publié aujourd’hui par Frontiers Policy Labs, un appel a été signé par 52 chercheurs issus de certaines des plus grandes institutions universitaires du monde. Selon les signataires, pour que la science s’ancre dans le processus décisionnel, il faut instaurer une nouvelle culture d’engagement entre les décideurs politiques et les scientifiques. […] Le document suggère que si nous voulons garantir que la science contribue à la société, nous devons intégrer des mesures dans l’évaluation de l’excellence scientifique qui valorisent et récompensent l’engagement de la science dans la politique.»

L’obtention de fonds et une bonne presse pour un projet de recherche ne sont pas une garantie de succès. C’est le propos que le professeur d’histoire à l’Université de Saint-Gall, Caspar Hirschi tient dans une tribune d’invité de la NZZ am Sonntag.

Selon lui, il existe actuellement un engouement de la communauté scientifique envers certains projets de recherche de Horizon Europe. «dès que la première pluie d’argent s’abat sur eux, les aspirants pionniers sont immédiatement submergés par une avalanche de reconnaissance avant même d’avoir pris le chemin de l’objectif. Ce qui est encore plus problématique, c’est que les créateurs plus discrets n’ont pratiquement plus aucune chance d’entrer dans la compétition dans leur ombre». Il critique que la Suisse voit dans Horizon sa seule chance de pouvoir produire de la recherche à haut niveau.

Même s’il souhaite qu’elle soit à nouveau intégrée au programme de recherche de l’Union européenne (UE), il serait faux de dénigrer la place scientifique suisse à cause de l’exclusion actuelle. Il appelle à ne pas viser uniquement sur le prestige et les fonds, mais d’encourager les projets qui sont susceptibles de produire des avancées scientifiques à long-terme avec l’aide du Fonds national notamment.

«Dans une nouvelle déclaration intitulée « Préoccupations et recommandations sur l’utilisation de la satisfaction des étudiants pour mesurer la qualité de l’enseignement », la Ligue des universités de recherche européennes (LERU) met en garde contre la pratique courante consistant à utiliser les enquêtes de satisfaction des étudiants pour évaluer les enseignants universitaires ou comme critère d’évaluation de la qualité de l’enseignement. Il convient plutôt de se concentrer sur les différentes composantes de l’enseignement et de l’apprentissage, y compris la perception qu’ont les étudiants de divers aspects de l’environnement d’enseignement et d’apprentissage.»

Le nouveau code d’intégrité de l’Association suisse des sciences montre quels sont les principes de base à respecter et comment agir en cas de violations. Il a été présenté à Berne et a été débattu «de manière engagée». Astrid Epiney, Rectrice à l’Université de Fribourg, évoque que la Conférence des recteurs des hautes écoles suisses est en train d’élaborer les conditions-cadres pour un centre de compétences avec un pool d’expert·e·s susceptibles de mener des enquêtes. Elle ajoute: « En Suisse, un tel centre de compétences ne pourrait toutefois qu’avoir une fonction de soutien. Pour des raisons juridiques, l’institution concernée doit mener elle-même les investigations et décider des mesures à prendre.»

«Une étude française soulève des doutes quant à l’intégrité de certaines revues de recherche biomédicale. Des auteurs semblent bénéficier d’un passe-droit dans l’évaluation de leur recherche grâce à leur proximité avec le comité éditorial de certaines revues. Ces comportements révèlent les failles de certains systèmes d’évaluation de la recherche.»