Dans un monde où l’intelligence artificielle (IA) occupe une place de plus en plus prépondérante, les mécanismes de génération de langage des modèles de langage de grande taille comme ChatGPT suscitent un intérêt croissant. Une étude récente menée par des chercheurs de l’Université d’Oxford et de l’Allen Institute for AI (Ai2) révèle que, tout comme les humains, ces modèles privilégient les exemples et les souvenirs accumulés au fil de leur entraînement, au lieu de s’appuyer sur des règles strictes de grammaire. Ce phénomène met en lumière la capacité des modèles à établir des analogies basées sur les similarités entre les mots, soulignant une approche de génération du langage qui imite de manière surprenante la façon dont les humains apprennent et utilisent leur propre langue.
Une étude récente menée par des chercheurs de l’Université d’Oxford et de l’Allen Institute for AI a révélé que les modèles de langage de grande taille (LLMs), tels que ChatGPT, généralise les schémas linguistiques de manière étonnamment similaire aux humains. Plutôt que de s’appuyer principalement sur des règles grammaticales pour générer le langage, ces systèmes intelligents privilégient les exemples et l’analogie. Cet article explore les implications de ces résultats, notamment comment les LLMs se comparent aux processus cognitifs humains dans la formation du langage.
Les biais des modèles de langage
Traditionnellement, on pensait que les LLMs apprenaient à générer du langage en tirant des règles des données d’entraînement. Cependant, cette recherche remet en question cette hypothèse. Les modèles se basent en fait sur des exemples stockés et emploient l’analogie lorsqu’ils rencontrent de nouveaux mots, de manière similaire aux humains. Par exemple, lorsque confronté à des mots inconnus tels que « cormasive » ou « friquish », un LLM comme GPT-J peut les transformer en noms en sélectionnant les suffixes appropriés – soit « -ness » soit « -ity » – en fonction de leur similarité avec des mots connus.
Le processus d’analogie
Pour mieux comprendre cette analyse, les chercheurs ont examiné les choix de GPT-J en les comparant à ceux d’humains et à des modèles cognitifs classiques. Les résultats ont montré que, plutôt que de s’appuyer sur des règles strictes, le LLM semblait « se souvenir » de ses expériences passées avec des mots au moment de faire des analogies. Par exemple, le mot « friquish » a été converti en « friquishness » grâce à sa ressemblance avec des mots comme « selfish ». De même, pour « cormasive », les choix étaient influencés par des paires de mots comme « sensible » et « sensitivity ».
L’influence des données d’entraînement
Une autre découverte importante de cette étude concerne l’impact des données d’entraînement sur les réponses du LLM. Lorsque les chercheurs ont analysé la réaction du modèle face à près de 50 000 adjectifs anglais réels, ils ont constaté que ses prédictions correspondaient avec une grande précision aux patrons statistiques présents dans les données d’apprentissage. Le LLM semblait avoir formé des traces de mémoire pour chaque exemple de mot rencontré durant son entraînement, ce qui lui permettait de traiter des mots nouveaux par analogie. Cette démarche met en lumière la manière dont ces systèmes d’intelligence artificielle abordent les tâches linguistiques, en se posant la question : « Qu’est-ce que cela me rappelle ? »
Différences entre humains et LLMs
Un aspect clé soulevé par l’étude est la distinction de la façon dont les humains et les LLMs forment des analogies. Les humains développent un dictionnaire mental qui contient toutes les formes de mots qu’ils considèrent significatives, indépendamment de leur fréquence d’apparition. Par exemple, ils reconnaissent facilement que des mots comme « friquish » et « cormasive » ne sont pas actuellement en usage dans la langue anglaise. Pour traiter ces néologismes potentiels, les humains font des généralisations analogiques basées sur un échantillon varié de mots connus.
Conséquences pour l’apprentissage des LLMs
Les différences observées soulèvent des questions quant aux exigences d’apprentissage des LLMs. Janet Pierrehumbert, co-auteur de l’étude et professeur de modélisation linguistique, indique que, bien que ces modèles soient capables de générer un langage de manière impressionnante, ils semblent ne pas penser de manière aussi abstraite que les humains. Cela pourrait expliquer pourquoi leur entraînement nécessite une quantité de données linguistiques bien supérieure à celle requise pour un humain apprenant une langue.
Dr. Valentin Hofman, co-auteur et chercheur à l’Ai2, souligne l’importance de cette recherche, qui démontre une synergie parfaite entre la linguistique et l’intelligence artificielle. Les résultats offrent un aperçu précieux sur le fonctionnement interne des LLMs lors de la génération du langage et pourraient catalyser des avancées vers une intelligence artificielle plus robuste, efficace et explicable.
Pour en savoir plus sur des sujets connexes, n’hésitez pas à explorer d’autres articles intéressants comme ceux sur l’établissement d’objectifs humains à travers la création de jeux, la fin de la loi de Moore, ou encore l’accessibilité des graphes pour les lecteurs aveugles et malvoyants.
EN BREF
|
