Les avancées récentes dans le domaine des modèles d’intelligence artificielle (IA) ouvrent la voie à des solutions personnalisables et accessibles, permettant aux utilisateurs de tirer parti de la puissance des grands modèles de langage (LLMs) sans nécessiter d’importantes quantités de données ou de ressources informatiques. Une méthode innovante développée par des ingénieurs de l’Université de Californie à San Diego a permis d’optimiser le processus de fine-tuning, en se concentrant sur les composants les plus pertinents des modèles. Cela réduit non seulement les coûts associés à l’adaptation de ces modèles, mais améliore également leur capacité à généraliser les connaissances acquises, même avec des ensembles de données limités.
Les récents développements dans le domaine de l’intelligence artificielle ont abouti à la création de nouveaux modèles qui permettent une personnalisation plus efficace, grâce à une utilisation réduite de données et de puissance de calcul. Cette avancée révolutionnaire, menée par des ingénieurs de l’Université de Californie à San Diego, révèle une approche novatrice pour affiner les modèles de langage large (LLMs), notamment ceux utilisés pour les chatbots et l’analyse des protéines. La méthode présentée offre une flexibilité inédite et une meilleure capacité de généralisation par rapport aux techniques de fine-tuning traditionnelles.
Un nouveau paradigme pour le fine-tuning des modèles de langage
Traditionnellement, le fine-tuning des modèles d’IA impliquait l’ajustement de milliards de paramètres, une tâche souvent coûteuse et risquée en termes de surcharge. Ces méthodes pouvaient entraîner un phénomène connu sous le nom de surapprentissage, où le modèle apprend des schémas au lieu de comprendre réellement les données, ce qui nuit à sa capacité de performance sur de nouveaux exemples. L’approche développée par les chercheurs de UC San Diego contourne cette problématique en se concentrant sur l’optimisation des composantes les plus critiques des modèles, réduisant ainsi la charge de travail en termes de paramètres à ajuster.
Optimisation par niveaux avec BiDoRA
Le développement de l’approche BiDoRA, qui repose sur un cadre de BLO (Bi-level Optimization), constitue une avancée significative dans la personnalisation des LLMs. À un niveau inférieur, BiDoRA se concentre sur l’apprentissage du composant de direction des matrices de mise à jour à partir d’un sous-ensemble d’apprentissage des données. À un niveau supérieur, il optimise le composant de magnitude en s’appuyant sur les résultats obtenus au niveau inférieur, utilisant un sous-ensemble de validation. Cela permet non seulement de définir une magnitude optimale mais aussi de raffiner le composant de direction en utilisant un ensemble combiné d’apprentissage et de validation, permettant ainsi d’améliorer les performances globales du modèle. Ces étapes sont décrites dans des publications sur la recherche en Machine Learning.
Une accessibilité accrue pour les startups et les laboratoires
Cette nouvelle méthode offre ainsi la possibilité à des laboratoires de petite taille et à des startups aux budgets limités, de personnaliser des modèles d’IA sans nécessiter des ressources informatiques de niveau superordinateur ou des ensembles de données volumineux. Selon le professeur Pengtao Xie, cette avancée vise à démocratiser l’accès à l’IA, permettant à un plus grand nombre d’utilisateurs d’adapter les modèles d’intelligence artificielle à leurs besoins spécifiques.
Des résultats exemplaires en prévision des protéines
Les chercheurs ont démontré que la méthode pouvait affiner des modèles de langage dédiés à la recherche sur les protéines, obtenant des résultats impressionnants même avec des ensembles de données réduits. Par exemple, dans le cadre de la prédiction de certains peptides capables de traverser la barrière hémato-encéphalique, la nouvelle approche a atteint une précision supérieure tout en nécessitant 326 fois moins de paramètres que les méthodes conventionnelles. De même, lorsque les chercheurs ont testé la prédiction de la thermostabilité des protéines, les performances étaient équivalentes à celles du fine-tuning complet avec une empreinte de paramètres réduite de 408 fois.
Vers une nouvelle ère de personnalisation de l’IA
Ces découvertes marquent une étape significative dans l’évolution des modèles d’IA. Les implications de cette recherche sont profondes, car elles permettent de rendre l’intelligence artificielle non seulement plus accessible mais aussi plus efficace et adaptable. Cela ouvre de nouvelles voies pour le développement d’applications d’IA qui pourraient être personnalisées pour des besoins variés, dans des domaines allant de la recherche biomédicale à la conception de produits. Pour ceux qui souhaitent en savoir plus sur l’optimisation des modèles d’IA, des articles supplémentaires peuvent être consultés sur ce site ou encore découvrir des solutions innovantes proposées par des informaticiens sur cette page.
EN BREF
|
