Des chercheurs de l’Institut d’intelligence artificielle de l’Université de Pékin ont développé un modèle qui révolutionne la manière dont les mouvements humains sont générés et modifiés. En s’appuyant sur des techniques d’augmentation des données et des modèles de diffusion, ce système présente des capacités uniques pour créer des mouvements réalistes et adapter ceux déjà existants à partir d’instructions textuelles. Cette innovation pourrait grandement bénéficier au développement de jeux vidéo, d’animations et de contenus pour la réalité virtuelle.
Une avancée dans la création de mouvements humains
Les avancées récentes en matière de création de mouvements humains reposent sur des systèmes capables de traduire des descriptions textuelles en mouvements corporels. Cependant, un problème majeur persiste : la capacité de modifier ces mouvements existants. Les chercheurs ont constaté que, bien que des progrès aient été réalisés pour générer des mouvements de manière proactive, l’édition de mouvements préexistants restait un défi. Le modèle conçu par les chercheurs vise à combler cette lacune en permettant aux utilisateurs d’éditer n’importe quel mouvement humain en se basant sur des instructions écrites, sans nécessiter d’entrées spécifiques relatives aux parties du corps ou à des scénarios précis.
La technique MotionCutMix
La technique innovante nommée MotionCutMix permet de créer des exemples d’entraînement variés en combinant différentes séquences de mouvements. Cette approche est comparable à la cuisine, où un chef mélange des ingrédients variés pour créer des plats différents. En sélectionnant des parties spécifiques du corps dans une séquence de mouvements, le modèle fusionne ces éléments avec ceux présents dans d’autres séquences, créant ainsi des mouvements plus fluides. Par exemple, la transition entre le mouvement d’un bras d’une séquence et le torse d’une autre se fait de manière harmonieuse, assurant une continuité naturelle.
Un modèle d’édition des mouvements dynamique
Le modèle MotionReFit, conçu en parallèle à MotionCutMix, permet d’appliquer des modifications précises aux séquences de mouvements humains sur la base des changements souhaités par l’utilisateur. Contrairement aux systèmes précédents qui nécessitaient des spécifications détaillées sur les parties du corps, MotionReFit traite les mouvements de manière plus arbitraire et flexible. Il préserve l’harmonie naturelle entre les différentes parties du corps tout en apportant des modifications significatives.
Avantages et opportunités du nouveau modèle
Le modèle dynamique développé par les chercheurs offre de nombreux avantages, notamment en termes de réduction des besoins en données annotées. MotionCutMix permet de générer de nouvelles variations d’entraînement à partir d’un échantillon limité de données étiquetées, rendant le processus d’apprentissage plus efficace et moins dépendant d’exemples précisés. Cette innovation peut créer d’innombrables variations d’entraînement à partir de séquences simples, ouvrant la voie à une large gamme d’applications.
De plus, ce modèle pourrait transformer la manière dont les animateurs et les développeurs de jeux vidéo créent des mouvements de personnages. En permettant une itération rapide sans devoir repartir de zéro, il augmente la productivité et la diversité des comportements des personnages non joueurs (PNJ) et des mouvements des joueurs. En matière d’interaction humain-robot, il propose également des perspectives intéressantes, en permettant aux robots d’ajuster leurs mouvements en fonction des retours exprimés en langage naturel.
Un avenir prometteur pour l’édition de mouvements
L’interface texte de ce système le rend accessible même aux utilisateurs non experts en animation ou en conception de jeux. À l’avenir, les chercheurs envisagent d’élargir ses capacités en intégrant des références visuelles et en permettant des modifications basées sur des démonstrations réalisées par les utilisateurs. De plus, les travaux futurs pourraient se concentrer sur des techniques avancées de représentation des mouvements afin d’améliorer la gestion de modèles complexes et de comportements séquentiels.
En somme, cette avancée dans la génération et l’édition de mouvements humains ne se limite pas à un simple progrès technique ; elle promet de transformer de nombreux domaines, de l’animation à la robotique, en fournissant des outils adaptables et puissants pour les créateurs de contenu.
EN BREF
|
