Un groupe d’ingénieurs et de spécialistes en intelligence artificielle de l’Université Carnegie Mellon a récemment développé une application innovante connue sous le nom de LegoGPT. Cette technologie révolutionnaire permet de générer des conceptions de structures stables à partir de descriptions textuelles, en utilisant des LEGOs standard. S’appuyant sur un modèle de langage de grande taille conçu par META, l’équipe a repensé le processus de création numérique pour surmonter les défis des modèles 3D génératifs existants, souvent inadaptés aux lois de la physique. Le système innovant procède par une approche recursive, garantissant résilience et stabilité lors de l’assemblage.
Un groupe d’ingénieurs et de spécialistes de l’intelligence artificielle de l’Université Carnegie Mellon a développé une application novatrice, LegoGPT, capable de concevoir des structures stables en utilisant des LEGOs standards, simplement à partir de descriptions textuelles. En s’appuyant sur un modèle de langage avancé, cette technologie transforme des instructions en conceptions réalistes, permettant ainsi de surmonter les défis des modèles génératifs 3D existants.
Une approche innovante avec l’IA
Pour développer LegoGPT, les chercheurs ont utilisé le modèle de langage LLaMA-3.2-1B-Instruct créé par META. Ce dernier, initialement conçu pour prédire le mot suivant dans un texte, a été réajusté pour anticiper le prochain brick à placer dans une structure LEGO. Cette méthodologie a nécessité la création d’un module mathématique supplémentaire, garantissant la stabilité physique des constructions en tenant compte des forces structurelles et de la gravité.
Formation sur un ensemble de données robustes
Dans le cadre de leur recherche, les ingénieurs ont constitué une base de données impressionnante comprenant 47 000 structures LEGO stables et leurs caractéristiques, accompagnées de légendes générées par un autre système d’IA. Cette base permet d’apprendre à LegoGPT à créer des designs solides, et ainsi d’améliorer la fiabilité des modèles générés.
Un processus de conception algorithmique
Le processus de conception de LegoGPT repose sur une approche de type récursive. Au fur et à mesure que les briques sont ajoutées à la structure, le système vérifie si chaque ajout entraîne une instabilité. Si des problèmes de stabilité sont détectés, la brique concernée est retirée, et une nouvelle stratégie est mise en œuvre. Ce mécanisme a permis d’atteindre un taux de réussite de 98,8 % en matière de structures bâties stables, contre seulement 24 % sans cette fonctionnalité.
Validation par des tests pratiques
Afin de valider leur système, les chercheurs ont utilisé des robots capables de construire des structures LEGO en suivant les conceptions générées, tout en réalisant également des constructions manuellement. Ils ont ainsi pu constater que LegoGPT produit une large variété de structures LEGO stables et fonctionnelles, surpassant les performances d’autres systèmes d’IA conçus pour générer des objets 3D.
Intégration de couleurs et de textures
Pour enrichir encore plus l’expérience utilisateur et le réalisme des créations, les ingénieurs ont ensuite implémenté des capacités de colorisation et de texturisation au sein de LegoGPT. Cette évolution permet non seulement de créer des structures stables, mais également visuellement attrayantes, élargissant ainsi les possibilités d’expression créative.
Des avancées dans le domaine de la modélisation 3D
Les contributions de LegoGPT ne se limitent pas uniquement à la conception de structures LEGO. Les techniques et innovations développées au cours de cette recherche ouvrent la voie à de nouvelles applications en modélisation 3D. Des chercheurs s’intéressent déjà à des projets similaires, comme l’embellissement d’images par des réseaux neuronaux, ou même la modélisation d’objets complexes tels que des scènes en 3D, étayant ainsi l’intérêt croissant pour l’IA dans des domaines variés.
La conception d’une nouvelle technologie, comme celle proposée par LegoGPT, pourrait également contribuer à des avancées dans d’autres domaines, comme l’exploration de concepts novateurs tels qu’un dôme pour l’invisibilité thermique.
En somme, LegoGPT représente une avancée significative dans l’utilisation de l’intelligence artificielle pour la création de designs 3D, avec un potentiel prometteur pour l’avenir de la modélisation et de la construction numériques.
EN BREF
|
