Le domaine de l’intelligence artificielle connaît une évolution rapide grâce à des modèles de grande envergure, tels que ceux couplant la vision et le langage. Cependant, leur polyvalence peut parfois être contre-productive, entraînant une baisse d’exactitude dans des tâches spécifiques. C’est dans ce contexte que se développe le concept d’oubli en boîte noire, une approche novatrice qui permet aux modèles d’IA de sélectivement oublier certaines classes tout en maintenant l’efficacité pour d’autres. Cette méthode, qui repose sur l’optimisation des invites textuelles destinées à des classificateurs visuels-langagiers, promet d’améliorer la personnalisation et les performances des outils d’apprentissage automatique dans des applications précises.
Récemment, la capacité des grands modèles d’intelligence artificielle (IA) pré-entraînés a considérablement progressé, notamment avec des modèles de vision et de langage tels que CLIP ou ChatGPT. Cette polyvalence est devenue un atout pour leur adoption généralisée, mais elle engendre également des défis de performance et d’efficacité. Les recherches menées par une équipe dirigée par le professeur Go Irie de l’Université de Tokyo cherchent à résoudre ces problèmes grâce à une méthodologie intitulée « oubli en boîte noire ». Cette approche vise à optimiser l’utilisation de ces modèles en les amenant à « oublier » des informations superflues, améliorant ainsi leur efficacité dans des tâches spécifiques tout en respectant les exigences de durabilité énergétique.
Des modèles polyvalents mais coûteux
Les modèles d’IA modernes, comme CLIP, présentent des performances remarquables dans une vaste gamme de tâches. Cependant, cette généralité a un coût. Le temps et l’énergie requis pour leur entraînement et leur fonctionnement sont énormes, nuisant aux objectifs de décarbonation et de soutenabilité. Les applications pratiques nécessitent parfois que les modèles se spécialisent dans des rôles précis, plutôt qu’être des généralistes. Sinon, les capacités d’un modèle peuvent retourner contre ses utilisateurs, entraînant une diminution de la précision.
La nécessité d’un oubli sélectif
Face à ces limitations, la question devient : comment améliorer l’utilisation des modèles pré-entraînés? Les solutions proposées incluent la possibilité de « faire oublier » certaines informations non pertinentes. Un papier recent présenté lors de NeurIPS 2024 a exploré cette problématique. La team de recherche a élaboré une méthode innovante, appelée « oubli en boîte noire », permettant d’optimiser les prompts textuels utilisés avec des classificateurs de vision et de langage pour amener les modèles à oublier certaines catégories qu’ils reconnaissent.
Une manière innovante d’optimiser les prompts
Les travaux de l’équipe incluent l’utilisation d’un algorithme appelé CMA-ES, se basant sur une optimisation itérative des prompts afin d’obtenir les résultats souhaités. Ce processus implique l’évaluation des résultats obtenus via des objectifs prédéfinis. La méthode connaît des limites lorsqu’il s’agit de problèmes à grande échelle ; plus une catégorie est oubliée, plus le « contexte latent » à optimiser devient complexe. Pour surmonter cet obstacle, une nouvelle technique dénommée « partage de contexte latent » a été développée.
Partage de contexte latent : une solution efficace
Cette technique se concentre sur la décomposition du contexte latent en éléments plus petits, considérés comme « uniques » ou « communs » entre différents tokens. En optimisant ces unités, la dimensionnalité du problème est significativement réduite, ce qui rend la gestion des données beaucoup plus accessible. Lors des validations de cette méthode, les chercheurs ont testé le système sur divers ensembles de données d’images, cherchant à amener CLIP à « oublier » 40 % de ses classes. Les résultats ont été particulièrement prometteurs, marquant ainsi une avancée significative dans le domaine de l’apprentissage automatique.
Implications de l’oubli en boîte noire
Ce travail de recherche présente de nombreuses implications dans le domaine de l’intelligence artificielle. Un modèle d’IA capable de « faire oublier » certaines informations pourrait non seulement permettre de se concentrer sur des tâches spécialisées, mais aussi restreindre la génération de contenus indésirables en faisant abstraction de contextes visuels précis. Par ailleurs, cette approche pourrait aussi aider à résoudre des questions de confidentialité croissantes. La technique d’oubli sélectif pourrait très bien atténuer les coûts énergétiques liés à la ré-entraînement de modèles complexes, rendant le processus plus efficace et soutenable.
Favoriser le droit à l’oubli
Enfin, l’oubli en boîte noire pourrait devenir un outil crucial pour protéger ce que l’on appelle le droit à l’oubli. Ce concept, particulièrement pertinent dans les secteurs de la santé et des finances, soulève des questions éthiques quant à la gestion des données personnelles. Les chercheurs estiment que la capacité à « oublier » des informations pourrait constituer une avancée majeure dans la protection des données des utilisateurs.
EN BREF
|
