Actuellement, la recherche d’erreurs dans les articles publiés n’est ni systématique ni récompensée. Par rapport à l’approche ad hoc actuelle, « les découvertes significatives par dollar dépensé seraient en fait plus élevées avec un certain degré de contrôle systématique des erreurs », affirme Ian Hussey, méta-scientifique à l’Université de Berne. «Et un système sérieux de détection des erreurs nécessite des ressources, y ajoute Malte Elson, psychologue à l’Université de Berne. «On ne peut pas s’attendre à ce qu’il fonctionne gratuitement.» Ce dernier et ses collègues ont donc lancé le projet Estimating the Reliability and Robustness of Research (ERROR) en février pour changer cela, qui rémunère des réviseurs qui vérifient les articles de psychologie ou liés à la psychologie les plus cités pour détecter les erreurs de code, d’analyses statistiques et de citations de référence.
Ce projet est financé par le programme Humans in Digital Transformation, un fonds destiné à promouvoir une stratégie de numérisation à l’Université de Berne, avec un soutien de quatre ans et 250’000 francs suisses, les réviseurs sont payés jusqu’à 1’000 francs pour chaque article qu’ils vérifient. Ils reçoivent une prime pour toutes les erreurs qu’ils trouvent, avec des primes plus importantes pour les erreurs plus graves – par exemple, celles qui donnent lieu à un avis de correction majeur ou à une rétractation – jusqu’à un maximum de 2’500 francs. Cette prime s’inspire des programmes de «bug bounty» que les entreprises technologiques, telles que Microsoft et Google, offrent aux pirates informatiques qui trouvent et signalent des failles dans leurs produits.
Pour maximiser l’impact de ses efforts, ERROR hiérarchise les articles les plus cités et contacte les auteurs des études pour leur demander l’autorisation d’examiner leurs travaux. «Pour qu’ERROR soit une réussite, il est important que tout le monde soit d’accord», explique M. Elson, mais l’équipe doit également avoir accès aux données et au code sous-jacents de chaque article, ce que seuls les auteurs peuvent fournir. Et les auteurs sont également rémunérés : 250 francs pour répondre aux questions des évaluateurs et mettre les données à disposition, et 250 francs supplémentaires si l’évaluateur ne trouve que des erreurs mineures ou pas d’erreurs du tout.