Les dernières recherches sur les modèles d’intelligence artificielle, en particulier ceux de grande envergure comme ChatGPT, ont mis en lumière des distinctions significatives au sein de leur architecture interne. En cartographiant ce qui pourrait être décrit comme le cerveau de l’IA, des chercheurs se sont aperçus que les fonctions de mémoire et de raisonnement sont en réalité localisées dans des régions distinctes. Cette découverte ouvre la porte à de nouvelles perspectives sur la manière dont les intelligences artificielles apprennent et se souviennent des informations, tout en soulevant des questions cruciales pour leur safety et leur fiabilité.
Des travaux récents ont mis en lumière la structure interne des modèles d’intelligence artificielle, permettant de mieux comprendre comment ces systèmes apprennent et conservent des informations. Les chercheurs de Goodfire.ai ont découvert que la mémoire et le raisonnement, deux caractéristiques essentielles des modèles d’IA tels que ChatGPT, occupent des emplacements distincts dans leur architecture interne. Cette révélation pourrait transformer notre compréhension de l’IA, en rendant ces systèmes plus sûrs et fiables.
Chercher à comprendre les structures internes des modèles d’IA
Les modèles d’IA modernes, formés sur d’immenses ensembles de données, tirent parti de diverses fonctionnalités de traitement. Parmi ces fonctionnalités, la mémoire permet à ces systèmes de récupérer et de répéter des informations, tandis que le raisonnement leur permet de résoudre de nouveaux problèmes en appliquant des principes généralisés et des motifs appris. Jusqu’à récemment, il était incertain si ces deux capacités étaient stockées au même endroit au sein de l’IA. C’est pourquoi l’équipe de recherche a décidé de mener une enquête sur l’architecture interne des modèles de langue et de vision à grande échelle.
Utilisation de la technique K-FAC pour la cartographie
Pour ce faire, ils ont recouru à une technique mathématique appelée K-FAC (Kronecker-Factored Approximate Curvature) pour identifier des composants de traitement spécifiques responsables de diverses capacités. Cette méthode leur a permis de différencier des chemins de faible courbure, associés à une mémorisation rigide, et des zones de haute courbure, qui favorisent un raisonnement flexible. En analysant ces chemins, ils ont pu démontrer que les mémorisations s’effectuent dans des voies spécialisées étroites, tandis que les capacités de raisonnement fonctionnent dans des zones de traitement plus larges et partagées.
Disabling memory and its effects
Pour tester leurs hypothèses, les chercheurs ont désactivé certaines parties du modèle liées à la mémorisation et ont évalué les performances de l’IA dans différentes tâches. Les résultats ont démontré que, même sans mémoire, les modèles pouvaient mobiliser leur capacité de raisonnement. Ce constat indique clairement que la mémoire et le raisonnement occupent des régions distinctes de l’architecture interne de l’IA. Cette réalité ouvre la voie à des avancées majeures dans la compréhension des fonctionnements de l’IA.
Les implications de la séparation de la mémoire et du raisonnement
Les résultats de cette recherche sont d’une importance cruciale pour l’évolution des systèmes d’IA. Effectivement, en privilégier une séparation de la mémoire peut atténuer les risques de divulgation d’informations privées ou de contenus sensibles. Ll’on observe également que la mémorisation peut parfois entraîner la conservation de biais nuisibles. En ayant une compréhension approfondie de ces réseaux de mémoire, il est envisageable que les ingénieurs puissent cibler précisément les informations mémorisées par l’IA, les déraciner sans nuire à son intelligence générale.
Rendre l’IA plus sûre et plus efficace
En améliorant la façon dont les systèmes d’IA gèrent la mémoire, il nous sera possible de rendre ces technologies non seulement plus sûres, mais aussi plus efficaces sur le plan opérationnel. Cela pourrait également réduire le coût d’exploitation des modèles d’IA en minimisant l’espace de réseau nécessaire pour le traitement des données. De plus, en préservant les capacités de raisonnement, les chercheurs peuvent garantir que les modèles d’IA restent fonctionnels et adaptables face à des problèmes nouveaux.
Engendrer de telles améliorations requiert une approche rigoureuse et méthodique. Rester informé des progrès technologiques et des découvertes récents est essentiel. Pour ceux qui s’intéressent à des études complémentaires, je recommande de consulter des travaux tels que l’exploration des liens de causalité ou l’impact des cellules cérébrales sur les mécanismes d’apprentissage.
EN BREF
|
