Thème: évaluation – chercheur·e·s

«Certaines des bases de données les plus connues, telles que Web of Science et Scopus, sont propriétaires et offrent un accès payant aux données et aux services qui soutiennent ces mesures et d’autres, notamment les classements des universités et les facteurs d’impact des revues. Mais dans la récente Déclaration de Barcelone, plus de 30 organismes de recherche et de financement appellent la communauté à s’engager en faveur de plateformes gratuites pour tous, plus transparentes quant à leurs méthodes et sans restrictions quant à l’utilisation des données.»

L’université de la Sorbonne, qui a mis fin à son abonnement au Web of Science l’année dernière et a opté pour une plateforme ouverte plus récente appelée OpenAlex, et la journaliste du journal [propriétaire] Science Catherine Offord souligne que «certains experts s’interrogent sur leur qualité par rapport aux bases de données propriétaires à ce stade.»

swissuniversities a analysé comment les différentes institutions mettent en œuvre et concrétisent dans la pratique les recommandations et bonnes pratiques en la matière de l’égalité des chances et la diversité dans les procédures de recrutement des professeur∙es. «Des mesures telles que la recherche proactive de candidates, l’utilisation de critères d’évaluation adaptés et la définition d’objectifs chiffrés quant au nombre de femmes professeures recrutées sont mises en place. Découvrez plus d’informations dans le rapport « Recrutement des professeur∙es : Analyse des bonnes pratiques des hautes écoles universitaires ».»

Dans une nouvelle publication, la présidente du Conseil européen de la recherche (CER), Maria Leptin, a exposé les raisons qui ont poussé le Conseil scientifique du CER à modifier son mode d’évaluation des chercheur-es. Après un long débat, le Conseil a déclaré qu’il partageait «la préoccupation selon laquelle les systèmes actuels d’évaluation de la recherche utilisent souvent des méthodes inappropriées et étroites pour évaluer la qualité, la performance et l’impact de la recherche et des chercheur-es».

La Commission européenne a lancé des discussions à l’échelle européenne sur la réforme de l’évaluation de l’impact de la recherche en 2022. L’idée est que les méthodes actuelles d’évaluation des chercheurs sont trop étroites et trop rigides. «Pour rester dans l’air du temps», l’accent mis sur les mesures de publication dans les revues devrait être abandonné au profit de réalisations qui donnent une image plus complète.

«L’analyse de 16 000 manifestations scientifiques liées aux subsides du FNS a révélé une internationalité élevée. 67% des contributions ont porté sur des manifestations organisées hors de Suisse, dont la majorité en Europe.»

Le FNS qualifie les types suivants de contributions à des manifestations scientifiques:

• exposé lors d’une conférence ;
• poster présenté lors d’une conférence ;
• conférence individuelle (par exemple, dans le cadre d’un séminaire, d’un atelier, d’un colloque ou en tant que conférencier ou conférencière invité·e).

La publication récente du Fonds national suisse Horizons contient plusieurs articles concernant l’évaluation de la recherche, notamment par des paries («peer review»).

«Le système espagnol d’évaluation des scientifiques, très décrié, dans lequel le seul critère d’avancement de carrière est la publication d’articles, devrait être révisé dans le cadre de nouvelles propositions de l’Agence nationale d’évaluation et d’accréditation (ANECA).

Les réformes, annoncées au début du mois, prévoient pour la première fois que les chercheurs des universités publiques espagnoles soient évalués sur la base d’une série de résultats autres que les articles, et encouragent également la diffusion des résultats par l’intermédiaire de plates-formes en libre accès. De nombreux scientifiques se félicitent de cette initiative, estimant qu’elle aidera le monde universitaire à sortir d’un système qui a été décrit comme établissant une « dictature des articles ».»

«La littérature scientifique est polluée par de faux manuscrits produits par des paper mills ─des entreprises qui vendent de faux travaux et de fausses signatures à des chercheurs qui ont besoin de publications dans des revues pour leur CV.»

«Une analyse non-publiée communiquée à Nature suggère qu’au cours des deux dernières décennies, plus de 400 000 articles de recherche présentant de fortes similitudes textuelles avec des études connues produites par des paper mills ont été publiés. Environ 70 000 d’entre eux ont été publiés rien que l’année dernière […]. L’analyse estime que 1,5 à 2 % de tous les articles scientifiques publiés en 2022 ressemblent étroitement à des travaux produits par des paper mills. Parmi les articles de biologie et de médecine, ce taux s’élève à 3 %.» (Nature.com)

«L’homme derrière tout cela est Adam Day, directeur de la société londonienne «Clear Skies». Il a conçu une intelligence artificielle qui lit les bases de données scientifiques du monde entier et doit distinguer les travaux suspects de ceux qui ne le sont pas. Il le fait à la demande expresse et avec le soutien des revues spécialisées.»

Certains des plus grands se font avoir. Pour rappel, en 2021 la «Royal Society of Chemistry (RSC) de Londres a dû reconnaître […] qu’elle était tombée dans le piège de copieurs. Elle n’avait pas publié que des plagiats isolés, mais 69.» (Die Welt)

Le positionality statement (ou en français, la déclaration de position) est une pratique qui est en augmentation et qui divise le monde scientifique, selon le journal de Science. Ajouter à un article scientifique «[…] la race, l’ethnicité, la situation géographique, l’orientation sexuelle, l’identité de genre, le statut de handicap et le niveau de carrière […] sont déjà une pratique établie dans de nombreuses sciences sociales, telles que la sociologie et l’anthropologie.» Cette tendance semble également s’étendre aux autres domaines de la science et devient même un critère pour certains journaux.

Certain∙es chercheur∙es saluent le procédé tandis que d’autres le décrient. Pour Alejandra Núñez-de la Mora, anthropologue biologique à l’université de Veracruz, «[i]l s’agit d’une invitation à réfléchir plus largement au rôle du chercheur dans le travail qu’il tente de comprendre.» Patricia Nayna Schwerdtle, «qui étudie la santé publique mondiale à l’université de Heidelberg», n’est pas du même avis. «[Elle] trouve étonnant que [la publication de déclarations de position] soit si répandue sans qu’il soit prouvé qu’elle permette réellement d’atteindre les objectifs fixés.» Sa principale inquiétude est «[…] que les déclarations de position ne servent qu’à donner des signaux de vertu et passent sous silence des questions plus profondes, telles que la crise de la reproductibilité dans le domaine scientifique.»

«Au moins une équipe de chercheurs étudie si ces déclarations ont l’effet escompté. Rose Oronje, chercheuse à l’African Institute for Development Policy, et ses collègues de la Liverpool School of Tropical Medicine évaluent les résultats de la publication de déclarations de réflexivité – une pratique similaire qui encourage les chercheurs engagés dans des collaborations mondiales à réfléchir à la manière dont leur travail reconnaît les communautés impliquées.»

Dritjon Gruda, Professeur adjoint en comportement organisationnel à l’Université nationale d’Irlande à Maynooth, raconte les défis rencontrés lorsqu’on soumet un article à une revue. Pendant la pandémie de COVID-19 il a soumis, avec ses collègues, «un article à une revue de premier plan dans [leur] domaine […]. Il s’agissait d’un article urgent, car les gens commençaient à s’adapter au fur et à mesure que la pandémie s’accélérait. L’article est resté en suspens pendant plusieurs mois sans même être soumis à un examen par les pairs. Les nombreux courriels envoyés à la revue n’ont rien donné. [Ils ont] dû retirer l’article et le soumettre ailleurs, perdant ainsi un temps précieux. Cette situation aurait pu être évitée [s’ils avaient] été autorisés à soumettre le manuscrit ailleurs simultanément».

En effet, il est interdit de soumettre simultanément un article à plusieurs revues. Monsieur Gruda explique néanmoins que cette interdiction «semble dépassée et, parfois, grossièrement injuste». Selon lui, la numérisation permet aujourd’hui de pouvoir  adapter les normes de l’édition «aux besoins et au rythme de la recherche contemporaine». En effet, l’interdiction entrave non seulement la carrière des chercheur·es, mais aussi «la rapidité de la diffusion scientifique, un facteur crucial dans de nombreux domaines tels que la science du climat, la santé et la médecine, où le partage des connaissances en temps opportun est primordial. La prolifération rapide des articles préimprimés lors de la pandémie de COVID-19 a démontré les avantages d’un partage rapide de l’information, même si ces articles n’ont pas encore été examinés par des pairs».

Deux chercheuses ont été chargées «par l’Université de Zurich d’étudier les raisons pour lesquelles les femmes étaient si peu représentées dans les hautes écoles». Par exemple, dans une discipline typiquement féminisée comme la médecine vétérinaire, «la part des femmes au niveau du bachelor est de 82% à Zurich, mais elle n’est plus que de 27% au niveau des postes de professeur·es ordinaires». Une enquête à grande échelle (10’000 participant·es) a été alors menée à l’École polytechnique fédérale de Zurich (EPFZ) et à l’Université de Zurich (UZH), et la conclusion est que de «nombreuses étudiantes n’ont pas ou n’ont que peu d’ambitions de carrière». Si «les femmes travaillant dans des disciplines masculines ont des ambitions de carrière beaucoup plus grandes» (39%), «les femmes qui étudient dans des disciplines féminines sont plutôt favorables à l’image traditionnelle de la famille, dans laquelle l’homme est le principal soutien de famille» (81%). (SonntagsZeitung)

Ainsi, «ce constat expliquerait le succès limité des mesures actuelles en faveur de l’égalité entre les femmes et les hommes». (20 minutes)

Les deux chercheuses concluent que «l’appel à des quotas de femmes ou à une garde d’enfants à prix réduit repose sur l’hypothèse que la sous-représentation des femmes dans les postes supérieurs disparaîtrait si elles bénéficiaient d’un traitement préférentiel en termes d’opportunités de carrière et de responsabilités familiales. Mais d’après [leurs] constatations, cette hypothèse n’est pas fondée» . Néanmoins, elles estiment que des actions doivent être faites pour les doctorantes ayant des enfants. En plus, les deux chercheuses estiment que lors de la nomination pour le poste de professeur·e, le tirage au sort serait le mécanisme plus juste non seulement envers les femmes mais aussi pour les hommes. (SonntagsZeitung)

«Les travaux relatifs à l’élaboration d’un accord sur la réforme de l’évaluation de la recherche ont débuté en janvier 2022 dans le cadre d’une collaboration entre Science Europe et l’European University Association (EUA). Ils ont été soutenus par la Commission européenne et à travers le monde, 350 organisations de 40 pays ont déjà fait part de leur intention de le signer.»

«Cet accord définit une direction commune pour des changements dans les pratiques d’évaluation de la recherche, des chercheur·ses et des institutions, dans le but général de maximiser la qualité et l’impact de la recherche. »

L’évaluation des enseignements par les étudiants, pratiquée dans les pays anglo-saxons, s’implante en France

«L’Université de Genève a signé l’«Accord sur la réforme de l’évaluation de la recherche» aux côtés de centaines d’organisations scientifiques. Le texte vise à injecter des critères qualitatifs dans un système majoritairement basé sur des indices quantitatifs.»

Mathias Binswanger est professeur d’économie politique à la Fachhochschule Nordwestschweiz à Olten et privat-docent à l’Université de Saint-Gall. Il a rédigé deux articles d’opinions dans lesquels il se plaint de la bureaucratie croissante dans les universités, autant pour les processus d’accréditation que pendant l’évaluation des scientifiques.

Dans le journal indique: «Il s’avère que la part du personnel administratif dans l’ensemble du personnel des universités suisses est passée de 17,7% à 19,2% entre 2013 et 2020. Et dans les hautes écoles spécialisées, la part correspondante est passée de 21,9% à 23,7%. En d’autres termes, près d’un quart des employés des hautes écoles spécialisées n’a rien à voir avec l’enseignement et la recherche, ni avec les services techniques ou la bibliothèque.»

Dans l’article du Weltwoche il se plaint des processus pour obtenir des fonds de recherche européens, en particulier, qu’il juge infantilisant et entravant la liberté académique. Par ailleurs, il regrette qu’en sciences sociales, il y est aussi attendu depuis quelque temps que le résultat de recherche soit «politiquement correct». Ce dernier propos est partagé par le professeur émérite allemand, spécialiste des médias Norbert Bolz, qui parle, en plus d’un «abrutissement des intellectuels» (NZZ).

Dès le 3 octobre 2022, le FNS utilisera le nouveau format de CV – d’ores et déjà disponible – dans son instrument «encouragement de projets». Ce nouveau format «narratif» SciCV vise à mettre en valeur les réalisations des scientifiques au-delà des listes de publications, et de se mettre ainsi conforme à la Déclaration de San Francisco sur l’évaluation de la recherche (DORA) de 2012.

Selon une étude de l’Université de Leiden, les répondant-es à l’enquête sur le SciCV ont estimé que les éléments narratifs du nouveau format étaient les plus utiles. Cependant, certaines personnes demandant des subventions n’ont pas apprécié de devoir passer autant de temps à rédiger ces descriptions. Et certains évaluateurs-rices ont critiqué l’utilisation d’un langage «vantard» dans les récits, comme «le premier», «expert», «unique» et «innovant».

Une autre caractéristique jugée utile est la preuve de l’«âge académique» des candidat-es. Cet âge est défini comme le nombre d’années en équivalent temps plein (ETP) travaillées dans le milieu universitaire et est calculé à partir de l’année de la première publication universitaire, plutôt que de l’année d’obtention de leur diplôme d’études supérieures. Cependant, certains examinateurs-rices et candidat-es n’étaient pas d’accord avec la façon dont ce calcul était affecté par le congé parental.

Par ailleurs, l’indicateur le plus critiqué dans le SciCV est le h-index, qui quantifie la productivité des scientifiques et l’impact de leur publications.

Les institutions de recherche allemandes mettent en garde contre une réforme centralisée («top down») de l’évaluation de la recherche en Europe, alors que la Commission européenne et les parties prenantes s’apprêtent à signer un projet d’accord sur de nouvelles lignes directrices pour l’évaluation des chercheurs.

«Désormais, le FNS applique une procédure d’évaluation unifiée pour ses instruments d’encouragement. Diverses nouveautés rendent la sélection des meilleurs projets et des meilleurs scientifiques encore plus équitable et efficace.»

Antoine Chollet du Syndicat SSP Vaud se positionne par rapport au programme européen pour la recherche Horizon Europe. «Contre le discours managérial porté par Swissuniversities et economiesuisse, il faut […] rappeler que la vraie excellence de la recherche s’obtient par la stabilité des postes, les meilleures conditions de travail possibles pour tout le personnel des universités, le temps laissé pour explorer leurs terrains de recherche en toute liberté, et un financement qui vise ces objectifs. Ce n’est le cas ni du FNS, ni de l’ERC, et c’est cette logique qu’il faut changer de toute urgence.»

Selon l’éditorial de Nature, «La révolution des données ouvertes n’aura lieu que si le système de recherche accorde autant d’importance au partage des données qu’à la paternité des articles. […] si les données ouvertes étaient officiellement reconnues au même titre que les articles de recherche dans les processus d’évaluation, de recrutement et de promotion, les groupes de recherche perdraient au moins une incitation à garder leurs ensembles de données fermés.»

«Les scientifiques de la communauté des jeunes scientifiques du Forum économique mondial souhaitent que la valeur sociale de la recherche scientifique soit mieux reconnue. Publié aujourd’hui par Frontiers Policy Labs, un appel a été signé par 52 chercheurs issus de certaines des plus grandes institutions universitaires du monde. Selon les signataires, pour que la science s’ancre dans le processus décisionnel, il faut instaurer une nouvelle culture d’engagement entre les décideurs politiques et les scientifiques. […] Le document suggère que si nous voulons garantir que la science contribue à la société, nous devons intégrer des mesures dans l’évaluation de l’excellence scientifique qui valorisent et récompensent l’engagement de la science dans la politique.»