Thème: recherche – qualité

Un don de livres de Michel Froidevaux à l’Université de Genève, des «documents qui touchent aux sexualités», représentent en majorité l’hétérosexualité. Cela «apporte un témoignage historique et sociologique d’envergure sur les questions de représentativité.»

«C’est par une analyse de certains axes thématiques que nous pouvons nuancer cette vision d’un collectionneur qui n’aurait pas considéré les autres types de sexualités ou d’identités de genre au même titre que les pratiques hétérosexuelles. Nous comprenons ainsi, tout en reconnaissant l’aspect non exhaustif de la collection, que l’absence de certaines thématiques témoigne non seulement de choix subjectifs de Michel Froidevaux, mais aussi de réalités d’accès aux documents, de censure ou simplement d’un manque de représentativité dans une époque donnée.»

L’Université de Genève mène «actuellement un projet commun au sein du G3 de la Francophonie (Université libre de Bruxelles, de Genève et de Montréal) ayant pour objectif de «Penser la place du sexuel en bibliothèque universitaire».» Les ouvrages seront gérés par l’université et par la Bibliothèque et le Centre Maurice Chalumeau en sciences des sexualités (CMCSS).

Dans un article publié dans la revue Physica Scripta, la phrase «Régénérer la réponse» a été détectée par Guillaume Cabanac, informaticien à l’université de Toulouse et limier scientifique. Ainsi, un fort doute que les auteurs de l’article aient utilisé ChatGPT a ensuite été confirmé par les auteurs eux-mêmes. Néanmoins ils ne l’avaient pas déclaré au moment de la soumission, raison pour laquelle l’éditeur a décidé de retirer cet article. Kim Eggleton, responsable de l’évaluation par les pairs et de l’intégrité de la recherche chez IOP Publishing, l’éditeur de Physica Scripta à Bristol, au Royaume-Uni, déclare qu’«[il] s’agit d’une violation de [leurs] politiques éthiques».

Toutefois, il ne s’agit pas d’un cas isolé. En effet, nombreux sont les articles qui échappent aux évaluations des pairs: Monsieur Cabanac déclare avoir «repéré plus d’une douzaine d’articles de revues contenant les phrases révélatrices de ChatGPT «Régénérer la réponse» ou «En tant que modèle linguistique de l’IA, je…»» depuis avril 2023.  Un autre problème qui se pose lorsqu’on fait une «utilisation malhonnête de ChatGPT» ce sont les références générées par ce logiciel: elles peuvent être fausses ou même ne pas exister lorsqu’on les recherche.

«Depuis 315 ans, le gouvernement bernois publie son Staatskalender, un vénérable cahier contenant les noms et les fonctions de tous les fonctionnaires. Cette source importante a été numérisée et rendue accessible en ligne sur le portail E-Periodica. Mais récemment, suite à l’intervention de l’autorité cantonale de surveillance de la protection des données, il a été décidé, avec beaucoup de flair juridique, que les numérisations du calendrier de l’Etat bernois sur E-Periodica seraient soumises à un délai de blocage de 110 ans, pas moins. Dans la législation sur les archives, la protection de 110 ans n’est utilisée qu’en tant qu’ultima ratio absolu, par exemple pour la protection des victimes de la pédophilie […]. Alors que les calendriers d’État imprimés et analogiques sont toujours accessibles dans les archives et les bibliothèques, leur version numérique est censurée». C’est ainsi que Sacha Zala, Directeur du centre de recherche Dodis et Professeur d’histoire à l’Université de Berne, reporte la récente démarche du gouvernement bernois. Monsieur Zala «regrette amèrement l’absence d’une position plus claire des institutions de recherche contre la censure des informations historiquement pertinentes» et leur lance un appel pour «se [défendre] contre une telle censure».

Dans un communiqué de presse, swissuniversities «salue le retour du Royaume-Uni dans le programme Horizon» et «insiste […] pour que des solutions soient trouvées rapidement [pour la Suisse] […]. La pleine association aux programmes de formation et de recherche de l’UE reste une priorité absolue pour les hautes écoles suisses. La participation aux programmes de l’UE ne peut pas être remplacée par des accords bilatéraux avec différents pays. Swissuniversities insiste sur les inconvénients considérables de la non-association aux programmes de l’UE, non seulement pour les hautes écoles, mais également pour la place économique suisse». (swissuniversities.ch)

Luciana Vaccaro, Présidente de swissuniversities, a été invitée dans l’émission Forum pour commenter la réassociation du Royaume-Uni à Horizon Europe, survenue hier. Madame Vaccaro explique que l’accord a été signé parce qu’une solution politique a été trouvée entre l’UE et le Royaume-Uni, notamment en résolvant la question de la frontière avec l’Irlande à travers l’accord de Windsor. La Présidente de swissuniversities dit donc que «quand il y aura une solution politique pour la Suisse il y aura une solution pour les chercheurs suisses». (Forum)

Jean Russotto, Président du Comité CH-UE, affirme que «[l]a Commission a montré, avec le Royaume-Uni, qu’elle pouvait rouvrir rapidement les portes de ses programmes de coopération. Il n’y a aucune raison qu’elle n’en fasse pas de même avec la Suisse. La balle est donc dans le camp du Conseil fédéral». Il ajoute que «[c]e délicat équilibre, issu de l’accord de Windsor, est un exemple qui illustre que lorsque la volonté existe de part et d’autre, des solutions concrètes sont possibles. La Suisse ne réintégrera Horizon que lorsque toutes les exigences institutionnelles de l’UE auront été satisfaites. Les accepter n’est pas plier, bien au contraire». (Le Temps)

Dans un article du St.Galler Tagblatt, la nouvelle commissaire à la recherche, Iliana Ivanova, avait défini un accord avec la Suisse comme une «priorité», néanmoins un porte-parole de la Commission a confirmé que la ré-association de la Suisse a Horizon Europe dépend «des progrès réalisés dans les entretiens exploratoires en cours pour régler les questions institutionnelles». Le journaliste de la NZZ, Niklaus Nuspliger, écrit que «[c]e qui est sûr, c’est que l’accord entre Londres et Bruxelles marque la fin des espoirs suisses de mettre sur pied avec les Britanniques un programme substantiel pour concurrencer l’UE», contrairement à ce qui avait été discuté dans un article du allnews.ch . (NZZ)

«Le Grand Conseil vaudois a accepté mardi à l’unanimité en deuxième débat de transmettre une initiative cantonale à l’Assemblée fédérale […] [qui] l’invite à entreprendre dans les meilleurs délais toutes les démarches en faveur de la réintégration de la Suisse au programme de recherche de l’Union européenne, Horizon Europe». Le Grand Conseil estime insuffisantes les compensations financières transitoires octroyées par le Conseil fédéral pour soutenir la recherche et craint que «la Suisse, en tant que pôle de recherche et d’innovation, perde en attrait et sa position de leader sur le long terme […]. D’autres cantons ont d’ailleurs fait la même démarche (Genève, Bâle-Campagne et Bâle-Ville, une autre initiative étant en préparation dans le canton de Fribourg), ce qui peut renforcer le poids de l’initiative auprès de parlementaires fédéraux».

Cette initiative s’inscrit aussi dans la volonté de «donner un signal fort aux universités et hautes écoles qui, dès l’exclusion de la Suisse du programme Horizon Europe au printemps 2021, se sont immédiatement mobilisées pour dénoncer cette décision» (Le Temps ). Le Conseiller d’Etat et Chef du Département de l’enseignement, Frédéric Borloz, affirme qu’««[ils voient] les répercussions négatives croissantes» de ne plus faire partie d’Horizon Europe» (Le Courrier).

Basée à Davos, la start-up AlpineAI veut proposer une alternative à ChatGPT et créér SwissGPT, qui, contrairement à ChatGPT, «doit permettre de retracer la source du résultat produit». AlpineAI est une société créée «par des représentants de plusieurs laboratoires de recherche sur l’IA, dont ceux de l’Université de Zurich, de l’EPFZ et de la Haute Ecole zurichoise des sciences appliquées (ZHAW)».

«[L]a voie traditionnelle de diffusion des nouvelles connaissances scientifiques est très longue». En effet les chercheur·es doivent passer par le processus de peer review, pour que «l’étude reçoive un label de qualité», où des «experts externes vérifient et découvrent des erreurs. L’équipe retravaille alors son article. Ce n’est qu’à ce moment-là qu’il est publié dans la revue spécialisée, désormais consultable par tous».

Néanmoins, lors de la pandémie du COVID-19 la «tendance à publier des données le plus rapidement possible et sans vérification externe» était justifiée par la «pression temporelle d’une pandémie». Aujourd’hui cette «pression» est dépassée, mais «la pratique de la présentation de données sans peer review a pris de l’ampleur, notamment dans le domaine biomédical», mais aussi dans le domaine de l’intelligence artificielle, puisque «ni les chercheurs ni la société ne veulent attendre des mois que les nouvelles connaissances soient soumises au contrôle technique». Cette pratique devient dangereuse du moment où «des études doivent être corrigées et des conclusions modifiées en public avec une belle régularité», en amenant «le public [à perdre] confiance dans la science dans son ensemble.Et aussi dans ceux qui diffusent ces messages avec empressement».

Dans un article publié par la NZZ le 26.07.2023, Mathias Binswanger, Professeur d’économie politique à la Haute école spécialisée du Nord-Ouest de la Suisse, conclut qu’il y a des «failles» dans les sciences comportementales en raison d’une «crise de reproductibilité». Néanmoins, selon Servan Grüninger, biostatisticien de l‘Université de Zurich (UZH), cette explication pourrait se retourner contre le professeur puisque «les débats sur la reproductibilité des résultats de la recherche ne concernent pas seulement la psychologie, mais un certain nombre de disciplines scientifiques, dont les sciences économiques». Une étude menée pour tester la reproductibilité des publications scientifiques du domaine économique montre que seulement le 38% de ces dernières pouvait être reproduites.

Dorothy Bishop, Professeure en psychologie à Oxford aujourd’hui à la retraite, est devenue une «détective de la mauvaise science». Un chercheur américain responsable d’une revue scientifique avait cité son nom en 2014 dans un article, comme si elle avait fait partie du comité éditorial, alors qu’il n’en était rien. Depuis, en association avec d’autres chercheur∙euses européen∙nes, elle cherche à limiter ces comportements.

Les mauvaises pratiques sont multiples : autocitation, accélération du processus de publication au détriment de la qualité, articles avec des prête-noms et des données falsifiées fabriquées à la chaîne (paper mills)… Déplorant le manque de réactivité des éditeurs scientifiques, Dorothy Bishop milite également pour la création d’un «instance indépendante pour étudier les signalements d’inconduite avec des experts en analyse d’images et de données.»

Au Royaume-Uni, une réforme a été entamée dans le système d’évaluation utilisé pour déterminer le financement de la recherche universitaire (Research Excellence Framework – REF), «[prévoyant] de passer de la performance individuelle à la performance institutionnelle». Cette réforme «[s’appuie] sur les conclusions du Future Research Assessment Programme (FRAP), un programme de recherche et d’évaluation des organismes de financement britanniques», et particulièrement sur «un rapport rédigé par un groupe de conseillers internationaux». Dans ce rapport on reconnait que le REF «peut fausser la culture de la recherche par des incitations perverses telles qu’une dépendance excessive à l’égard des mesures de publication pour évaluer la valeur d’un chercheur». Adoptées par le FRAP, les recommandations des conseillères et conseillers internationaux sont «[…] d’augmenter la contribution au score REF global des mesures qui reconnaissent la qualité du soutien apporté par une institution à la recherche, et de diminuer la pondération des résultats de la recherche conventionnelle».

Les trois auteur·es de cet article (Richard Watermeyer, Gemma Derrick et Kate Sang) sont chercheur·es en éducation et s’expriment sur la réforme du REF. Ces dernier·ères pensent que ces recommandations «pourraient entraîner une nouvelle dégradation de la culture de la recherche dans les établissements d’enseignement supérieur britanniques, [et que] les décideurs politiques font preuve de naïveté à la fois vis-à-vis des réalités de la culture de la recherche au Royaume-Uni et du risque de causer plus de problèmes qu’ils n’en résolvent». Selon ces trois chercheur·es, bien que «les conseillers [appellent] à «déplacer le fardeau de l’individu vers l’institution» […], [d]ans la pratique, […] il est impossible d’éviter la contribution d’un individu à la recherche au cours des préparatifs d’une université pour le REF».

De plus, bien que la volonté soit de le rendre «plus inclusif», le fait que dans REF 2028, «il n’y aura pas de nombre maximum ou minimum de résultats de recherche liés à un chercheur individuel, à condition qu’une moyenne soit atteinte dans un domaine» amènera les universités «à être hyper-sélectives, se concentrant sur les membres du personnel qui produisent la recherche la plus «REF-able»». Finalement, «la recommandation des conseillers selon laquelle il ne faut pas accorder une «importance excessive» au REF dans l’évaluation du personnel ou l’étalonnage des performances par rapport à d’autres institutions» ne tient pas compte du fait que le REF soit utilisé comme critère dans le classement de l’enseignement supérieur. Les auteur·es pensent donc que «les règles du REF sont élaborées par des personnes qui sont de plus en plus éloignées des conditions de travail vécues par le chercheur moyen».

À la suite des accusations portées contre la professeure d’Harvard Francesca Gino, qui aurait modifié des résultats d’études afin de les faire correspondre à ce qu’elle souhaitait démontrer, Mathias Binswanger souligne dans un article de la NZZ les failles des sciences comportementales. Professeur d’économie politique à la Haute école spécialisée du Nord-Ouest de la Suisse, il explique que cette branche est plus vulnérable aux fraudes. Selon lui, trois facteurs sont en cause :

«Premièrement, les expériences donnent l’illusion d’une exactitude empirique qui ressemble à celle des sciences naturelles. […] Deuxièmement, les expériences en sciences sociales ne sont pratiquement jamais répliquées par d’autres chercheurs, car cela coûte cher et n’est pas intéressant. […] Troisièmement, les expériences permettent des mises en place arbitraires (appelées designs de recherche raffinés) qui permettent d’obtenir les résultats souhaités.»

Mathias Binswanger cite en exemple un étude de masse faite en 2015 par Brian Nosek, psychologue. «Sur 100 études publiées en 2008 dans trois revues en psychologie, seules 39 ont pu être confirmées.» Sa conclusion : «On peut tout simplement oublier la majeure partie de la recherche en psychologie. Certes, dans la plupart des cas, on ne triche pas de manière évidente comme dans le cas de Francesca Gino. Mais on ‘expérimente’ jusqu’à ce que l’on obtienne les résultats souhaités. C’est de la recherche bullshit.»

Deux chercheurs de l’Israel Institute of Technology, Roy Kishony, biologiste et scientifique des données, et son étudiant, Tal Ifargan, scientifique des données également, ont voulu tester la capacité de ChatGPT à écrire un article scientifique de qualité, en passant par «[…] l’exploration initiale des données à la rédaction d’un manuscrit soigné». Résultat: «[l]’article était fluide, perspicace et présenté dans la structure attendue pour un article scientifique». Néanmoins, il y a eu des bugs lors du codage, mais lorsque les deux chercheurs renvoyaient des messages à ChatGPT, il corrigeait le code.

De nombreux doutes subsistent après cette expérience: Monsieur Kishony «craint […] que ces outils ne permettent aux chercheurs de se livrer plus facilement à des pratiques malhonnêtes telles que le «P-hacking», qui consiste à tester plusieurs hypothèses sur un ensemble de données, mais à ne communiquer que celles qui produisent un résultat significatif […], [et] que la facilité avec laquelle les outils d’IA générative permettent de produire des articles pourrait avoir pour conséquence d’inonder les revues d’articles de mauvaise qualité».

À Harvard, une professeure en sciences comportementales est accusée d’avoir manipulé les données de certaines de ses études. L’université a ouvert une enquête, mais ne fournit aucun autre commentaire que le fait d’avoir mis la chercheuse en congé administratif. La chercheuse «examine les accusations, les prend au sérieux et évalues ses options», ne se prononçant pas sur leur véracité.

Selon Data Colada, blog tenu par trois scientifiques qui réalisent des répliques d’études, lors de la réalisation d’une étude sur l’honnêteté, des données auraient été changées entre le groupe expérimental et le groupe de contrôle. Trois autres études auraient également été manipulées. En 2012 un co-auteur avait déjà été épinglé, mais l’intégrité des autres co-auteur·trices ayant collaboré avec la chercheuse d’Harvard n’est pour l’instant pas remise en doute.

Selon l’économiste comportemental zurichois Ernst Fehr, la cause d’une telle manipulation des données viendrait de la volonté des chercheur∙euses qui font de la recherche en psychologie à vouloir «générer des résultats aussi rapides et insolites que possible.» Maximilian Maier, de l’University College London, condamne plutôt l’influence de la culture du «publish or perish.»

Créé il y a deux ans, l’institut pour la politique économique Suisse (IWP) de Lucerne dérange, s’attirant de vives critiques de la part de certain∙es professeur∙es et du Parti Socialiste. Lorsqu’il a ouvert, l’IWP a placardé des affiches dans Lucerne, une démarche jugée trop «tapageuse» par beaucoup. On lui reproche un manque de transparence dans son financement et un manque «scientificité».

L’auteur de l’article s’est penché sur la question et explique que l’IWP est un «An-Institut : indépendant sur le plan organisationnel, mais accrédité par une décision du conseil universitaire de Lucerne.» Les donateur∙trices, comme dans toute université suisse, n’ont pas leur mot à dire sur les sujets traités.

Deux études, en février et en mai, ont particulièrement agacé les politiques : l’une sur le salaire dans l’administration, 12% plus élevés que dans le secteur privé, et l’autre sur les subventions fédérales dans le milieu académique. Les deux fondateurs de l’institut, le Professeur Christoph Schaltegger et René Scheu, anciennement chef de la rubrique culturelle à la NZZ, restent relativement imperméables aux vives réactions suscitées et veulent continuer à «étudier les effets des activités étatiques avec une approche critique.»

Deux professeurs ont publié un guide satirique, L’expertise sans peine, afin de dénoncer la «profusion de pseudo-experts dans la sphère médiatique». S’étant «inspirés de figures omniprésentes sur les plateaux télévisés français», leur ouvrage comporte une première partie composée d’exercices «loufoques». La seconde partie, plus sérieuse, revient sur le besoin d’expertise.

Les auteurs ne font pas un reproche direct aux médias, mais critiquent le système en lui-même. Disponibles, les pseudo-expert∙es entrent dans le circuit, reçoivent une fausse légitimité à travers les médias et reviennent mettre leur grain de sel encore et encore.

Des chercheurs de l’EPFL ont compris un phénomène génétique grâce à des embryoïdes de souris sans avoir recours à des expériences sur des animaux vivants. Le Professeur Denis Duboule, qui étudie depuis plus de 30 ans le génome de la souris, décrit le procédé comme «relativement simple et rapide à utiliser et meilleur marché que le modèle animal.»

Le Professeur Duboule ne pense pas les scientifiques pourront renoncer complétement aux expérimentations animale, en particulier pour la recherche fondamentale, «[…] mais il y a certains domaines où des méthodes prometteuses sont en train de se développer. Nous entrons dans une nouvelle ère dans laquelle il est possible de reproduire in vitro des situations biologiques si proches de la réalité qu’il ne sera pas forcément nécessaire, dans certains cas, de revenir à l’animal.»

Depuis une quinzaine d’années les scientifiques essaient de surmonter la difficulté de la replicabilité des résultats. Les domaines scientifiques les plus concernés sont la médecine, la biologie et surtout la psychologie. La cause de cette difficulté peut se retrouver d’une part dans les méthodologies inadaptées, et de l’autre dans «la propension des revues à ne publier que des résultats positifs et la culture du «publish or perish»». Pour pallier à cette crise, de nombreuses initiatives ont été mises en place, parmi lesquelles les outils pour une science ouverte (Open Science) ou le rapport enregistré (registered report) qui implique une validation de la recherche avant qu’elle soit menée.

Carl Schleussner, membre de l’institut de recherche Climate Analytics, affirme que «l’explosion récente du nombre de […] «revues prédatrices» crée des problèmes qui sont exploités par les climatosceptiques». En plus, les climatosceptiques appuient leurs propos en citant des travaux scientifiques, comme cela a été le cas pour le géologue Sebastian Luening qui a cité le travail du paléoclimatologue Nathan Stansell pour exprimer sa position climatosceptique. Stansell a commenté l’article de Luening en le jugeant «parsemé de désinformation, de mauvaises interprétations et de biais».

«Les travaux relatifs à l’élaboration d’un accord sur la réforme de l’évaluation de la recherche ont débuté en janvier 2022 dans le cadre d’une collaboration entre Science Europe et l’European University Association (EUA). Ils ont été soutenus par la Commission européenne et à travers le monde, 350 organisations de 40 pays ont déjà fait part de leur intention de le signer.»

«Cet accord définit une direction commune pour des changements dans les pratiques d’évaluation de la recherche, des chercheur·ses et des institutions, dans le but général de maximiser la qualité et l’impact de la recherche. »

«L’Université de Genève a signé l’«Accord sur la réforme de l’évaluation de la recherche» aux côtés de centaines d’organisations scientifiques. Le texte vise à injecter des critères qualitatifs dans un système majoritairement basé sur des indices quantitatifs.»