Thème: recherche – qualité

Basée à Davos, la start-up AlpineAI veut proposer une alternative à ChatGPT et créér SwissGPT, qui, contrairement à ChatGPT, «doit permettre de retracer la source du résultat produit». AlpineAI est une société créée «par des représentants de plusieurs laboratoires de recherche sur l’IA, dont ceux de l’Université de Zurich, de l’EPFZ et de la Haute Ecole zurichoise des sciences appliquées (ZHAW)».

«[L]a voie traditionnelle de diffusion des nouvelles connaissances scientifiques est très longue». En effet les chercheur·es doivent passer par le processus de peer review, pour que «l’étude reçoive un label de qualité», où des «experts externes vérifient et découvrent des erreurs. L’équipe retravaille alors son article. Ce n’est qu’à ce moment-là qu’il est publié dans la revue spécialisée, désormais consultable par tous».

Néanmoins, lors de la pandémie du COVID-19 la «tendance à publier des données le plus rapidement possible et sans vérification externe» était justifiée par la «pression temporelle d’une pandémie». Aujourd’hui cette «pression» est dépassée, mais «la pratique de la présentation de données sans peer review a pris de l’ampleur, notamment dans le domaine biomédical», mais aussi dans le domaine de l’intelligence artificielle, puisque «ni les chercheurs ni la société ne veulent attendre des mois que les nouvelles connaissances soient soumises au contrôle technique». Cette pratique devient dangereuse du moment où «des études doivent être corrigées et des conclusions modifiées en public avec une belle régularité», en amenant «le public [à perdre] confiance dans la science dans son ensemble.Et aussi dans ceux qui diffusent ces messages avec empressement».

Dans un article publié par la NZZ le 26.07.2023, Mathias Binswanger, Professeur d’économie politique à la Haute école spécialisée du Nord-Ouest de la Suisse, conclut qu’il y a des «failles» dans les sciences comportementales en raison d’une «crise de reproductibilité». Néanmoins, selon Servan Grüninger, biostatisticien de l‘Université de Zurich (UZH), cette explication pourrait se retourner contre le professeur puisque «les débats sur la reproductibilité des résultats de la recherche ne concernent pas seulement la psychologie, mais un certain nombre de disciplines scientifiques, dont les sciences économiques». Une étude menée pour tester la reproductibilité des publications scientifiques du domaine économique montre que seulement le 38% de ces dernières pouvait être reproduites.

Dorothy Bishop, Professeure en psychologie à Oxford aujourd’hui à la retraite, est devenue une «détective de la mauvaise science». Un chercheur américain responsable d’une revue scientifique avait cité son nom en 2014 dans un article, comme si elle avait fait partie du comité éditorial, alors qu’il n’en était rien. Depuis, en association avec d’autres chercheur∙euses européen∙nes, elle cherche à limiter ces comportements.

Les mauvaises pratiques sont multiples : autocitation, accélération du processus de publication au détriment de la qualité, articles avec des prête-noms et des données falsifiées fabriquées à la chaîne (paper mills)… Déplorant le manque de réactivité des éditeurs scientifiques, Dorothy Bishop milite également pour la création d’un «instance indépendante pour étudier les signalements d’inconduite avec des experts en analyse d’images et de données.»

Au Royaume-Uni, une réforme a été entamée dans le système d’évaluation utilisé pour déterminer le financement de la recherche universitaire (Research Excellence Framework – REF), «[prévoyant] de passer de la performance individuelle à la performance institutionnelle». Cette réforme «[s’appuie] sur les conclusions du Future Research Assessment Programme (FRAP), un programme de recherche et d’évaluation des organismes de financement britanniques», et particulièrement sur «un rapport rédigé par un groupe de conseillers internationaux». Dans ce rapport on reconnait que le REF «peut fausser la culture de la recherche par des incitations perverses telles qu’une dépendance excessive à l’égard des mesures de publication pour évaluer la valeur d’un chercheur». Adoptées par le FRAP, les recommandations des conseillères et conseillers internationaux sont «[…] d’augmenter la contribution au score REF global des mesures qui reconnaissent la qualité du soutien apporté par une institution à la recherche, et de diminuer la pondération des résultats de la recherche conventionnelle».

Les trois auteur·es de cet article (Richard Watermeyer, Gemma Derrick et Kate Sang) sont chercheur·es en éducation et s’expriment sur la réforme du REF. Ces dernier·ères pensent que ces recommandations «pourraient entraîner une nouvelle dégradation de la culture de la recherche dans les établissements d’enseignement supérieur britanniques, [et que] les décideurs politiques font preuve de naïveté à la fois vis-à-vis des réalités de la culture de la recherche au Royaume-Uni et du risque de causer plus de problèmes qu’ils n’en résolvent». Selon ces trois chercheur·es, bien que «les conseillers [appellent] à «déplacer le fardeau de l’individu vers l’institution» […], [d]ans la pratique, […] il est impossible d’éviter la contribution d’un individu à la recherche au cours des préparatifs d’une université pour le REF».

De plus, bien que la volonté soit de le rendre «plus inclusif», le fait que dans REF 2028, «il n’y aura pas de nombre maximum ou minimum de résultats de recherche liés à un chercheur individuel, à condition qu’une moyenne soit atteinte dans un domaine» amènera les universités «à être hyper-sélectives, se concentrant sur les membres du personnel qui produisent la recherche la plus «REF-able»». Finalement, «la recommandation des conseillers selon laquelle il ne faut pas accorder une «importance excessive» au REF dans l’évaluation du personnel ou l’étalonnage des performances par rapport à d’autres institutions» ne tient pas compte du fait que le REF soit utilisé comme critère dans le classement de l’enseignement supérieur. Les auteur·es pensent donc que «les règles du REF sont élaborées par des personnes qui sont de plus en plus éloignées des conditions de travail vécues par le chercheur moyen».

À la suite des accusations portées contre la professeure d’Harvard Francesca Gino, qui aurait modifié des résultats d’études afin de les faire correspondre à ce qu’elle souhaitait démontrer, Mathias Binswanger souligne dans un article de la NZZ les failles des sciences comportementales. Professeur d’économie politique à la Haute école spécialisée du Nord-Ouest de la Suisse, il explique que cette branche est plus vulnérable aux fraudes. Selon lui, trois facteurs sont en cause :

«Premièrement, les expériences donnent l’illusion d’une exactitude empirique qui ressemble à celle des sciences naturelles. […] Deuxièmement, les expériences en sciences sociales ne sont pratiquement jamais répliquées par d’autres chercheurs, car cela coûte cher et n’est pas intéressant. […] Troisièmement, les expériences permettent des mises en place arbitraires (appelées designs de recherche raffinés) qui permettent d’obtenir les résultats souhaités.»

Mathias Binswanger cite en exemple un étude de masse faite en 2015 par Brian Nosek, psychologue. «Sur 100 études publiées en 2008 dans trois revues en psychologie, seules 39 ont pu être confirmées.» Sa conclusion : «On peut tout simplement oublier la majeure partie de la recherche en psychologie. Certes, dans la plupart des cas, on ne triche pas de manière évidente comme dans le cas de Francesca Gino. Mais on ‘expérimente’ jusqu’à ce que l’on obtienne les résultats souhaités. C’est de la recherche bullshit.»

Deux chercheurs de l’Israel Institute of Technology, Roy Kishony, biologiste et scientifique des données, et son étudiant, Tal Ifargan, scientifique des données également, ont voulu tester la capacité de ChatGPT à écrire un article scientifique de qualité, en passant par «[…] l’exploration initiale des données à la rédaction d’un manuscrit soigné». Résultat: «[l]’article était fluide, perspicace et présenté dans la structure attendue pour un article scientifique». Néanmoins, il y a eu des bugs lors du codage, mais lorsque les deux chercheurs renvoyaient des messages à ChatGPT, il corrigeait le code.

De nombreux doutes subsistent après cette expérience: Monsieur Kishony «craint […] que ces outils ne permettent aux chercheurs de se livrer plus facilement à des pratiques malhonnêtes telles que le «P-hacking», qui consiste à tester plusieurs hypothèses sur un ensemble de données, mais à ne communiquer que celles qui produisent un résultat significatif […], [et] que la facilité avec laquelle les outils d’IA générative permettent de produire des articles pourrait avoir pour conséquence d’inonder les revues d’articles de mauvaise qualité».

À Harvard, une professeure en sciences comportementales est accusée d’avoir manipulé les données de certaines de ses études. L’université a ouvert une enquête, mais ne fournit aucun autre commentaire que le fait d’avoir mis la chercheuse en congé administratif. La chercheuse «examine les accusations, les prend au sérieux et évalues ses options», ne se prononçant pas sur leur véracité.

Selon Data Colada, blog tenu par trois scientifiques qui réalisent des répliques d’études, lors de la réalisation d’une étude sur l’honnêteté, des données auraient été changées entre le groupe expérimental et le groupe de contrôle. Trois autres études auraient également été manipulées. En 2012 un co-auteur avait déjà été épinglé, mais l’intégrité des autres co-auteur·trices ayant collaboré avec la chercheuse d’Harvard n’est pour l’instant pas remise en doute.

Selon l’économiste comportemental zurichois Ernst Fehr, la cause d’une telle manipulation des données viendrait de la volonté des chercheur∙euses qui font de la recherche en psychologie à vouloir «générer des résultats aussi rapides et insolites que possible.» Maximilian Maier, de l’University College London, condamne plutôt l’influence de la culture du «publish or perish.»

Créé il y a deux ans, l’institut pour la politique économique Suisse (IWP) de Lucerne dérange, s’attirant de vives critiques de la part de certain∙es professeur∙es et du Parti Socialiste. Lorsqu’il a ouvert, l’IWP a placardé des affiches dans Lucerne, une démarche jugée trop «tapageuse» par beaucoup. On lui reproche un manque de transparence dans son financement et un manque «scientificité».

L’auteur de l’article s’est penché sur la question et explique que l’IWP est un «An-Institut : indépendant sur le plan organisationnel, mais accrédité par une décision du conseil universitaire de Lucerne.» Les donateur∙trices, comme dans toute université suisse, n’ont pas leur mot à dire sur les sujets traités.

Deux études, en février et en mai, ont particulièrement agacé les politiques : l’une sur le salaire dans l’administration, 12% plus élevés que dans le secteur privé, et l’autre sur les subventions fédérales dans le milieu académique. Les deux fondateurs de l’institut, le Professeur Christoph Schaltegger et René Scheu, anciennement chef de la rubrique culturelle à la NZZ, restent relativement imperméables aux vives réactions suscitées et veulent continuer à «étudier les effets des activités étatiques avec une approche critique.»

Deux professeurs ont publié un guide satirique, L’expertise sans peine, afin de dénoncer la «profusion de pseudo-experts dans la sphère médiatique». S’étant «inspirés de figures omniprésentes sur les plateaux télévisés français», leur ouvrage comporte une première partie composée d’exercices «loufoques». La seconde partie, plus sérieuse, revient sur le besoin d’expertise.

Les auteurs ne font pas un reproche direct aux médias, mais critiquent le système en lui-même. Disponibles, les pseudo-expert∙es entrent dans le circuit, reçoivent une fausse légitimité à travers les médias et reviennent mettre leur grain de sel encore et encore.

Des chercheurs de l’EPFL ont compris un phénomène génétique grâce à des embryoïdes de souris sans avoir recours à des expériences sur des animaux vivants. Le Professeur Denis Duboule, qui étudie depuis plus de 30 ans le génome de la souris, décrit le procédé comme «relativement simple et rapide à utiliser et meilleur marché que le modèle animal.»

Le Professeur Duboule ne pense pas les scientifiques pourront renoncer complétement aux expérimentations animale, en particulier pour la recherche fondamentale, «[…] mais il y a certains domaines où des méthodes prometteuses sont en train de se développer. Nous entrons dans une nouvelle ère dans laquelle il est possible de reproduire in vitro des situations biologiques si proches de la réalité qu’il ne sera pas forcément nécessaire, dans certains cas, de revenir à l’animal.»

Depuis une quinzaine d’années les scientifiques essaient de surmonter la difficulté de la replicabilité des résultats. Les domaines scientifiques les plus concernés sont la médecine, la biologie et surtout la psychologie. La cause de cette difficulté peut se retrouver d’une part dans les méthodologies inadaptées, et de l’autre dans «la propension des revues à ne publier que des résultats positifs et la culture du «publish or perish»». Pour pallier à cette crise, de nombreuses initiatives ont été mises en place, parmi lesquelles les outils pour une science ouverte (Open Science) ou le rapport enregistré (registered report) qui implique une validation de la recherche avant qu’elle soit menée.

Carl Schleussner, membre de l’institut de recherche Climate Analytics, affirme que «l’explosion récente du nombre de […] «revues prédatrices» crée des problèmes qui sont exploités par les climatosceptiques». En plus, les climatosceptiques appuient leurs propos en citant des travaux scientifiques, comme cela a été le cas pour le géologue Sebastian Luening qui a cité le travail du paléoclimatologue Nathan Stansell pour exprimer sa position climatosceptique. Stansell a commenté l’article de Luening en le jugeant «parsemé de désinformation, de mauvaises interprétations et de biais».

«Les travaux relatifs à l’élaboration d’un accord sur la réforme de l’évaluation de la recherche ont débuté en janvier 2022 dans le cadre d’une collaboration entre Science Europe et l’European University Association (EUA). Ils ont été soutenus par la Commission européenne et à travers le monde, 350 organisations de 40 pays ont déjà fait part de leur intention de le signer.»

«Cet accord définit une direction commune pour des changements dans les pratiques d’évaluation de la recherche, des chercheur·ses et des institutions, dans le but général de maximiser la qualité et l’impact de la recherche. »

«L’Université de Genève a signé l’«Accord sur la réforme de l’évaluation de la recherche» aux côtés de centaines d’organisations scientifiques. Le texte vise à injecter des critères qualitatifs dans un système majoritairement basé sur des indices quantitatifs.»

Depuis fin décembre, des accusations de plagiat circulent sur Twitter contre une professeure titulaire de l’Université de Zurich. Selon des récentes investigations de la plateforme néerlandaise de recherche Niews-Checkers, une de ses publications contenait sur 42 pages des passages plagiés de sources variées. Dans un des passages, elle a simplement traduit un texte publié dans un journal tessinois. Les Université de Zurich et le FNS, qui ont financé ses multiples publications et projets de recherche, ont ouvert des enquêtes.

Un article paru dans le journal Nature traite la question quelles seront les conséquences du progrès dans la technologie des chatbots (large language models ou LLM) sur la recherche, que cela soit comme assistance à rédaction de publications ou dans le domaine médical, par exemple. Les créateurs de LLM travaillent actuellement sur des chatbots plus sophistiqués [que ChatGPT] construits sur des ensembles de données plus importants (OpenAI devrait publier GPT-4 cette année), y compris des outils destinés spécifiquement au travail universitaire ou médical. À la fin du mois de décembre, Google et DeepMind ont publié une préimpression (pre-print) concernant un LLM à vocation clinique, appelé Med-PaLM7.

«A l’avenir, les IA comprenant des LLM pourraient même faciliter le diagnostic du cancer et la compréhension de la maladie en recoupant le texte de la littérature universitaire avec les images des scanners corporels. Mais tout cela nécessiterait une surveillance judicieuse de la part de spécialistes», juge Eric Topol, directeur de l’Institut translationnel de recherche Scripps à San Diego.

Une professeure titulaire de l’Université de Zurich est accusée par des internautes sur Twitter de plagiat. Cela concerne dix passages, notamment dans une publication qui a été financée par le FNS et dans le site web de son institut à la faculté des sciences humaines et sociales («Philosophische Fakultät»). La professeure se défend en disant que tous ces passages étaient de nature descriptive, qu’elle n’avait pas volé des idées ou plagiés.

Cependant, le fait qu’elle a publié le livre concerné (et deux autres) dans une maison d’édition qu’elle chapeaute indique, selon l’auteur de l’article paru dans la NZZ, qu’il y a un conflit d’intérêt. Un autre élément soulevé par les journalistes est la réaction «brusque» de la professeure sur les accusations et le fait qu’elle aurait listé sur le site web de son institut comme collaborateurs des personnes qui ne semblaient pas être au courant (et qui disent de ne jamais avoir travaillé pour l’institut).

L’Aargauer Zeitung parle d’une «inquisition» contre elle sur Twitter mais soulève également que la scientifique n’est actuellement plus sous contrat à l’Université de Zurich. Le FNS et l’Université de Zurich ont annoncé des enquêtes.

Un professeur de l’Université de Saint-Gall (HSG) est accusé d’auto-plagiat dans le cadre de son habilitation. Le cas a été examiné par deux expert-es du sujet à l’interne, avec le soutien d’un expert du sujet externe à l’institution. La commission n’a pas trouvé de «mauvaise conduite scientifique», estimant qu’il s’agit d’une habilitation cumulative.

Selon le Recteur Bernhard Ehrenzeller, c’est une avocate qui aurait accusé le professeur de plagiat. Le groupe d’étudiant-es qui a soutenu cette accusation affirme ne pas avoir été contacté ni par la commission d’enquête ni par le rectorat. Le recteur se défend : «Nous ne connaissions pas leurs noms et on n’avait pas le droit de les fréquenter, l’avocate était notre personne de contact. Les accusateurs n’avaient pas le statut de parti.» Selon les recherches menées par le journal, ces affirmations seraient fausses. (St. Galler Tagblatt du 12.12.2022).

Par ailleurs, une enquête est en cours contre le professeur qui a dirigé et accepté l’habilitation du professeur accusé. Ils siégaient tous les deux dans le conseil d’administration d’une même entreprise, l’université en était au courant mais à l’époque aucune collision n’avait été constatée.

Par ailleurs, les accusations de plagiat des travaux d’étudiant-es seraient nouvelles. «Nous l’avons appris par les journaux», affirme le recteur. «Il serait, dans une première étape, sensé que les étudiant-es concerné-es nous contactent. Nous évaluerons si une nouvelle commission d’enquête s’avère nécessaire. [Mais] si ces accusations se vérifient […] un blâme ne suffirait pas.»

«Je vous demande d’arrêter votre couverture médiatique négative […]. Mon client va examiner toutes les mesures de droit civil ou de droit pénal et agir en conséquence», écrit un professeur de l’Université de Saint-Gall à son étudiant, qui est soupçonné à mettre en   lumière l’affaire de plagiat d’un professeur de l’Université de Saint-Gall. Une autre menace de conséquences légales a été envoyé au journal. Détail piquant : le professeur qui a essayé de museler l’étudiant était directeur de l’habilitation du professeur accusé de plagiat, entre autres dans son habilitation.

Par ailleurs, le courriel du professeur envoyé à l’étudiant semblait provenir de l’Université, un fait que le rectorat de l’Université condamne fermement.