Des tests révèlent que les gens ont du mal à distinguer les humains de ChatGPT lors de conversations de cinq minutes

Des études récentes ont révélé une tendance surprenante : les individus éprouvent des difficultés à distinguer les échanges avec des humains de ceux avec ChatGPT, une intelligence artificielle développée par OpenAI. Ces tests, menés sur des conversations de courte durée, remettent en question notre capacité à différencier les réponses humaines de celles générées par des algorithmes sophistiqués.

Les avancées en intelligence artificielle ont atteint un point où les modèles de langage, comme GPT-4, utilisés dans des plateformes de conversation telles que ChatGPT, sont capables de comprendre et de répondre de manière si réaliste qu’il devient difficile de les différencier d’un être humain. Cette capacité soulève des questions majeures quant à la perception et la confiance des utilisateurs envers les systèmes d’IA.

Le Test de Turing revisité

Des chercheurs de l’Université de Californie à San Diego ont récemment revisité le célèbre Test de Turing — un test conçu pour évaluer si une machine peut démontrer un comportement intelligent indiscernable de celui d’un humain. Leurs résultats, publiés dans un article pré-publié sur le serveur arXiv, montrent que lorsqu’une personne interagit avec GPT-4 dans une conversation en tête-à-tête, elle a autant de chances de le prendre pour un humain qu’elle le ferait au hasard.

Procédé expérimental

Cameron Jones, co-auteur de l’étude, a expliqué que l’idée de ce test est née d’une classe sur les modèles de langage qu’il suivait. Avec son superviseur, le Professeur Benjamin Bergen, ils ont conçu un premier test public exploratoire, voyant que personne n’avait encore testé l’hypothèse de manière systématique. Leur expérience initiale a montré des résultats prometteurs, mais incluait des variables non contrôlées, les amenant à réaliser une seconde expérience plus rigoureuse.

Les résultats des expériences

Lors des expériences de deux joueurs, un interrogateur humain interagissait avec un témoin pouvant être soit un humain soit un agent IA. Ces interactions duraient cinq minutes, au terme desquelles l’interrogateur devait déterminer la nature de son interlocuteur. Dans ce jeu, trois modèles ont été testés : GPT-4, GPT-3.5 et ELIZA.

Les résultats ont montré que si les interrogateurs réussissaient souvent à identifier les modèles ELIZA et GPT-3.5 comme étant des machines, ils n’étaient pas plus efficaces qu’un choix aléatoire pour GPT-4. En revanche, les véritables humains étaient identifiés comme tels dans environ deux tiers des cas.

Implications pour l’avenir

Ces résultats soulèvent des interrogations sur la capacitàité des gens à reconnaître leurs interlocuteurs en ligne à l’avenir. Si l’utilisation de systèmes d’IA dans les interactions quotidiennes devient plus courante, des implications importantes pourraient émerger, notamment en termes de confiance, d’identité et de sécurité. Cela pourrait affecter divers domaines comme le service client, la fraude en ligne, et la diffusion de désinformation.

Projets futurs des chercheurs

Les chercheurs envisagent d’améliorer leur test et d’explorer de nouvelles hypothèses. Ils prévoient des scénarios de conversations plus complexes, impliquant plusieurs intervenants (humain et IA) simultanément, ou des IA avec des accès en temps réel à l’actualité et à la météo. Leur objectif est aussi de comprendre si les IA peuvent influencer les opinions des utilisateurs, propager des mensonges, ou inciter à des actions spécifiques.

Points clés des résultats