«L’IA peut répondre correctement à 85% des questions de tests universitaires»

Une étude de l’EPFL publiée dans la revue PNAS montre qu’une intelligence artificielle (IA) peut répondre avec 85% de bonnes réponses pour un examen universitaire, si elle est au préalable renseignée. Les auteur·es de la publication ont étudié 50 cours de bachelor et master de l’EPFL pour arriver à ce résultat. Sans connaissances préalables et avec une stratégie élémentaire, GPT-4 répondait correctement en moyenne à 65,8% des questions. Le taux de réponses correctes de 85% a «été un choc» pour les chercheur·euses. Si l’étude était relancée aujourd’hui, le taux de résultats corrects serait encore plus grand.
«A court terme, nous devrions insister pour que les évaluations soient plus difficiles, non pas dans le sens de la difficulté des questions, mais dans [celui] de la complexité de l’évaluation elle-même», avance Antoine Bosselut, professeur assistant et membre du Centre IA de l’EPFL.