Des chercheurs de l’UNIST ont réalisé une avancée significative dans le domaine de l’intelligence artificielle en développant une technologie capable de reconstituer des interactions main-objet en trois dimensions à partir de vidéos, même lorsque certains éléments sont obscurcis. Grâce à un modèle innovant connu sous le nom de Bimanual Interaction 3D Gaussian Splatting (BIGS), cette technologie permet de visualiser des scènes complexes en réalité augmentée, offrant ainsi des possibilités d’interaction en temps réel jusqu’alors inaccessibles. Les résultats prometteurs de cette recherche ouvrent de nouvelles voies pour des applications variées, allant de la réalité virtuelle au contrôle robotique, en passant par des formations chirurgicales à distance.
Une avancée révolutionnaire dans la reconstruction 3D
Les chercheurs de l’Université UNIST ont récemment développé une technologie d’intelligence artificielle (IA) capable de reconstituer des représentations tri-dimensionnelles (3D) des interactions entre les mains et des objets, même lorsque certains éléments sont partiellement cachés. Grâce à une méthode innovante nommée Bimanual Interaction 3D Gaussian Splatting (BIGS), cette avancée promet d’améliorer considérablement les visualisations en réalité augmentée (AR) et les capacités d’interaction en temps réel dans divers domaines, notamment la chirurgie simulée et la robotique.
La méthode BIGS : Une innovation technique
Le modèle BIGS, dirigé par le professeur Seungryul Baek, se distingue par sa capacité à visualiser des interactions complexes entre les mains et les objets en 3D à partir d’une seule vidéo en RGB. Contrairement aux approches traditionnelles, qui se limitaient à la reconnaissance d’une seule main ou à des objets pré-numérisés, BIGS permet une reconstruction dynamique et précise des interactions main-objet. Cette technologie révolutionnaire s’affranchit de la nécessité d’utiliser des capteurs de profondeur ou des caméras multiples, se fondant uniquement sur une caméra RGB standard.
Technologie et fonctionnement de BIGS
Au cœur de ce modèle repose la technique du 3D Gaussian Splatting, qui représente les formes d’objets sous la forme d’un nuage de points avec des distributions gaussiennes lisses. Contrairement aux méthodes de nuages de points qui créent des contours nets, le Gaussian Splatting permet une reconstruction naturelle des surfaces de contact et des interactions complexes. De plus, il aborde les défis d’occlusion en alignant plusieurs instances des mains à une structure gaussienne canonique.
En intégrant un modèle de diffusion pré-entraîné pour le score distillation sampling (SDS), cette approche offre la capacité de reconstruire de manière précise les surfaces non visibles, y compris les parties arrière des objets. Ces caractéristiques uniques permettent une compréhension plus profonde et plus rapide de la dynamique des interactions entre les mains et les objets.
Impact et applications potentielles
Les résultats des expériences menées par l’équipe, utilisant des bases de données internationales telles qu’ARCTIC et HO3Dv3, démontrent que BIGS surpasse les technologies existantes en capturant avec précision les postures des mains, la forme des objets, les interactions de contact et la qualité du rendu. Ces capacités ont d’importantes implications pour des applications dans des domaines comme la réalité virtuelle (VR), la réalité augmentée (AR), le contrôle robotique, et la formation chirurgicale à distance.
Réactions et perspectives d’avenir
Le professeur Baek a déclaré que cette avancée devrait faciliter la reconstruction des interactions en temps réel dans divers secteurs, promouvant ainsi de nouvelles opportunités d’innovation technologique. À mesure que cette technologie continue de se développer et de s’améliorer, elle pourrait transformer la manière dont nous interagissons avec des objets en 3D au sein d’environnements interactifs.
Pour en savoir plus sur d’autres applications matérielles et technologiques qui utilisent des avancées similaires, vous pouvez consulter des articles traitant de l’approche par clustering pour optimiser l’apprentissage de l’IA en robotique, la manière d’apprendre aux modèles d’IA à esquisser, ou encore les possibilités qu’offre l’encre électronique pour l’impression à température ambiante de circuits.
Approche par clustering en robotique
Apprentissage des modèles d’IA à esquisser
Encre électronique pour circuits flexibles
Ordinateurs quantiques avec nouveaux matériaux
IA pour transformer l’expérience de recherche
EN BREF
|
