Des chercheurs de l’Université de Brown ont développé un modèle d’intelligence artificielle innovant, capable de traduire des commandes textuelles en mouvements pour une variété de robots et d’avatars animés. Nommé MotionGlot, ce modèle permet aux utilisateurs de simplement taper des instructions telles que « marcher en avant quelques pas et tourner à droite », et il génère des représentations précises de ce mouvement. Cette avancée technologique se distingue par sa capacité à interpréter des mouvements à travers différents types d’embodiments, allant des humanoïdes aux quadrupèdes, ce qui ouvre la voie à de nombreuses nouvelles applications.
Des chercheurs de l’Université Brown ont développé un modèle d’intelligence artificielle capable de convertir des commandes textuelles en mouvements précis pour divers robots et avatars animés. Nommé MotionGlot, ce modèle révolutionnaire facilite la communication entre l’homme et la machine en traduisant des instructions simples en actions kinésiques, illustrant ainsi le potentiel de l’IA dans la création de mouvements adaptés à plusieurs formes corporelles.
Le fonctionnement de MotionGlot
Le modèle MotionGlot permet aux utilisateurs de saisir des actions en langage naturel, comme “marcher quelques pas en avant et tourner à droite”. Grâce à ce système, MotionGlot génère des représentations précises de ces mouvements pour commander un robot ou un avatar animé. Cette approche innovante repose sur l’idée de considérer le mouvement comme un langage qui peut être traduit d’un type d’incarnation à un autre.
Les avancées technologiques de MotionGlot
Les chercheurs ont souligné que le principal atout de MotionGlot réside dans sa capacité à traduire les mouvements entre différentes types d’embodiments, qu’il s’agisse de robots quadrupèdes, de humanoïdes ou d’autres formes d’animation. Ce modèle permet ainsi de créer des mouvements adaptés dans des contextes variés et des configurations spatiales diversifiées, ouvrant la voie à de nouvelles applications, notamment dans la collaboration homme-robot.
La tokenisation du mouvement
À l’instar des grandes modèles de traitement du langage, tels que ChatGPT, qui basent leur fonctionnement sur la prédiction de tokens, MotionGlot découpe également les mouvements en composants discrets. Par exemple, la position des jambes durant la marche. En tokenisant le mouvement, le modèle est capable de générer des actions fluides et adaptées en fonction des instructions reçues, même pour des instructions qu’il n’a jamais vues auparavant.
Transposition des mouvements entre différents types d’embodiments
Un défi important que MotionGlot résout est celui des variations de mouvement entre différents corps. Bien que la notion de “marcher” puisse s’appliquer à une personne et à un chien, les mouvements spécifiques peuvent varier considérablement. MotionGlot est capable de traduire le sens du mouvement pour différents types de figures, assurant que l’instruction “marcher en ligne droite” produira le bon mouvement, qu’il s’agisse d’un humanoïde ou d’un robot canin.
Les données d’entraînement utilisées
Pour former leur modèle, les chercheurs ont recours à deux ensembles de données distincts, comprenant des heures de données de mouvement annotées. Le premier, baptisé QUAD-LOCO, met en scène des robots quadrupèdes effectuant diverses actions, accompagnées de descriptions textuelles. Le second ensemble, QUES-CAP, capture des mouvements humains avec des légendes et des annotations détaillées, permettant au modèle de mieux assimiler les nuances du mouvement humain.
Capacités d’exécution et de réponse
En utilisant ces données d’entraînement, MotionGlot peut générer des actions adéquates à partir d’instructions textuelles. Dans diverses simulations, il a démontré sa capacité à répondre à des instructions précises telles que “un robot marche à reculons, tourne à gauche et avance” ou à des prompts plus abstraits comme “un robot marche joyeusement”. Cette flexibilité ouvre la voie à des applications dans le domaine de l’animation numérique et de la production vidéo.
Perspectives d’application et avenir du modèle
Les fonctionnalités actuelles de MotionGlot, ainsi que son adaptabilité à différentes embodiments, incitent à envisager des applications prometteuses dans des domaines tels que la collaboration homme-robot, le jeu vidéo, et la réalité virtuelle. Les chercheurs prévoient également de rendre le modèle et son code source accessibles au public afin que d’autres chercheurs puissent s’en emparer et l’améliorer.
Ce modèle représente une avancée significative dans la compréhension et la génération de mouvements dans le domaine de la robotique et de l’animation. Avec l’engouement croissant pour l’intelligence artificielle, les résultats de cette recherche pourraient transformer de nombreux secteurs en facilitant l’interaction avec des systèmes de plus en plus sophistiqués.
EN BREF
|
