Puisque les formes d’intelligence artificielle tel que ChatGPT ne sont capables de «rédiger» des textes qu’en se basant sur des écrits préexistants, que se passe-t-il lorsqu’elle commence à se citer elle-même ? C’est déjà le cas, puisque de plus en plus de textes générés par l’IA ont été postés sur internet.
Dans une étude (The Curse of Recursion) menée par des chercheur·s britanniques et canadien·nes, le problème a été soulevé. Il semblerait qu’après plusieurs boucles, il ne veut plus rien dire et l’IA génère les symboles suivants : @-@. Concrètement, l’IA hallucine, car elle a oublié la distribution des données sous-jacentes, et elle s’auto-détruit («kannibalisiert sich selbst»).
Le Professeur d’informatique Ross Anderson explique que les «données contaminées pourraient menacer l’intégrité des écosystèmes numériques», faisant un parallèle avec les déchets jetés dans l’océan qui menacent l’environnement. Quant à lui, «[l]’auteur Ted Chiang avance des arguments dans un essai pour le «New Yorker», que la qualité de la copie des IA vocales diminuent à chaque nouveau cycle.»
Le risque, selon l’auteur de l’article, c’est qu’à force d’être recyclées, de nouvelles idées ne soient plus développées. L’IA finira par s’autociter, comme lorsque les scientifiques sont coincé∙es dans un cercle de citation, et il sera impossible de retrouver la source, puisque l’IA est un système hermétique, comme «une sorte de boite noire.»