Dans le domaine de la modélisation en trois dimensions, les chercheurs explorent une approche novatrice en utilisant les ombres pour restituer des scènes complexes, notamment des objets hors du champ de vision. Cette technique prometteuse ouvre de nouvelles perspectives pour la création de modèles 3D plus réalistes et complets.
Une technique innovante en vision par ordinateur
Imaginez conduire dans un tunnel avec une voiture autonome. Soudain, un accident, caché par le véhicule devant vous, ralentit le trafic. Que votre voiture puisse « voir » à travers cette obstruction et appliquer les freins plus tôt, c’est exactement ce que les chercheurs du MIT et de Meta veulent rendre possible grâce à leur technique innovante de vision par ordinateur.
Combinaison de mesures lidar et apprentissage automatique
Les chercheurs ont développé un système appelé PlatoNeRF qui combine la technologie lidar (détection et télémétrie par lumière) avec l’apprentissage automatique. Cette méthode permet de créer des modèles 3D physiquement précis d’une scène entière, y compris les zones bloquées de la vue, à partir d’une seule position de caméra. En exploitant les ombres, le système peut déterminer ce qui se trouve dans les portions obstruées de la scène.
Application de la caverne de Platon
L’approche PlatoNeRF tire son nom de l’allégorie de la caverne de Platon, où des prisonniers discernent la réalité du monde extérieur en observant les ombres projetées sur les murs de la caverne. De même, PlatoNeRF utilise les rebonds de lumière et les ombres pour reconstruire avec précision des objets cachés dans une scène.
Utilisation du lidar à photons uniques
Les chercheurs se servent d’un lidar à photons uniques pour émettre des impulsions de lumière et mesurer le temps nécessaire à cette lumière pour retourner au capteur après avoir rebondi sur différents objets. En calculant ce temps, PlatoNeRF capture des informations supplémentaires sur la scène, y compris la profondeur et les ombres.
Applications dans la vie quotidienne
En plus d’améliorer la sécurité des véhicules autonomes, PlatoNeRF pourrait rendre les casques de réalité augmentée et réalité virtuelle plus efficaces en permettant aux utilisateurs de modéliser la géométrie d’une pièce sans avoir à se déplacer pour prendre des mesures. De même, cette technologie pourrait accélérer la recherche d’articles dans des environnements encombrés pour les robots de stockage.
Combinaison gagnante
Ce qui distingue PlatoNeRF, c’est la combinaison de lidar à rebonds multiples et d’un type particulier de modèle d’apprentissage automatique appelé champ de radiance neuronale (NeRF). Cette combinaison permet des reconstructions de scènes 3D hautement précises en ajustant la physique du transport de lumière et en modélisant cela avec l’apprentissage automatique.
Améliorations futures
Les chercheurs prévoient d’essayer de suivre plus de deux rebonds de lumière pour voir comment cela pourrait améliorer les reconstructions de scènes. Ils cherchent également à appliquer davantage de techniques d’apprentissage profond et à combiner PlatoNeRF avec des mesures d’images colorées pour capturer les informations de texture.
Perspectives de la communauté scientifique
« Alors que les images de shadows capturées par des caméras ont longtemps été étudiées pour la reconstruction 3D, ce travail revisite le problème dans le contexte du lidar, démontrant des améliorations significatives dans la précision des géométries cachées reconstruites », explique David Lindell, professeur adjoint au Département d’informatique de l’Université de Toronto.
Résumé technique
- 🌟 Technologie: PlatoNeRF
- 🔍 Capteurs: Lidar à photons uniques
- 🧠 Méthode: Apprentissage automatique
- 🚗 Applications: Véhicules autonomes
- 🛠️ Outils: Champs de radiance neuronales (NeRF)
- 📏 Précision: Rebonds multiples
