Le phénomène du streaming 3D évolue rapidement, permettant des expériences immersives de plus en plus sophistiquées dans les domaines de la réalité virtuelle et de la réalité augmentée. De récentes avancées technologiques visent à optimiser cette pratique en se concentrant uniquement sur les éléments véritablement visibles par l’utilisateur, réduisant ainsi les exigences en bande passante tout en préservant une qualité d’image élevée. Ce changement fondamental, qui remplace les méthodes de streaming traditionnelles, ouvre de nouvelles perspectives pour la diffusion d’environnements complexes et dynamiques, facilitant leur accès sur des appareils standards avec une connectivité limitée.
Le domaine du streaming 3D connaît une évolution majeure, marquée par l’introduction d’une nouvelle technologie qui vise à améliorer l’expérience utilisateur dans les environnements de réalité virtuelle (VR) et de réalité augmentée (AR). Une étude récente menée par l’École d’ingénierie Tandon de NYU présente une méthode novatrice permettant de prédire directement le contenu visible dans des environnements 3D immersifs. Cette avancée pourrait réduire les exigences en bande passante jusqu’à sept fois, tout en maintenant la qualité visuelle.
Un défi majeur pour le streaming immersif
Le principal défi auquel fait face le streaming de contenu immersif réside dans la quantité massive de données requises pour offrir une expérience fluide. Traditionnellement, la vidéo en streaming transmet l’intégralité des données contenues dans un cadre. Cette méthode, bien que fonctionnelle, nécessite un volume de données considérable, surtout dans le cas de vidéos en nuage de points, qui représentent des scènes 3D en tant que collections de points de données dans l’espace. Une vidéo de ce type avec un million de points par cadre exige plus de 120 mégabits par seconde, ce qui représente presque dix fois la bande passante nécessaire pour des vidéos haute définition standard.
Une approche innovante pour la prévision de la visibilité
Contrairement aux méthodes conventionnelles, qui prédisent d’abord où un utilisateur est susceptible de regarder avant de déterminer ce qui est visible, cette nouvelle approche se concentre sur la prédiction directe de la visibilité dans la scène 3D. En divisant l’espace 3D en cellules et en considérant chaque cellule comme un nœud d’un réseau graphique, le système utilise des réseaux neuronaux graphiques basés sur des transformeurs pour capturer les relations spatiales entre les cellules voisines. Les réseaux neuronaux récurrents sont également employés pour analyser l’évolution des motifs de visibilité au fil du temps.
Amélioration significative des performances
Le système développé permet de prédire ce qui sera visible pour un utilisateur entre 2 à 5 secondes à l’avance, ce qui constitue une avancée considérable par rapport aux systèmes précédents qui ne pouvaient prédire qu’à court terme, souvent à peine une fraction de seconde. Selon Yong Liu, professeur au département d’ingénierie électrique et informatique de NYU Tandon, cette capacité à anticiper plus en avant dans le temps représente un changement de paradigme dans la façon dont nous abordons la visibilité dans les expériences VR et AR.
Réduction des erreurs et meilleure utilisation des données
Cette méthode de streaming innovante permet de réduire les erreurs de prévision jusqu’à 50 % par rapport aux méthodes existantes pour des prévisions à long terme, tout en maintenant une performance en temps réel supérieure à 30 images par seconde, même pour des vidéos en nuage de points contenant plus d’un million de points. Cela signifie que les consommateurs peuvent s’attendre à des expériences AR et VR plus réactives tout en réduisant leur utilisation des données.
Une opportunité pour les développeurs et les consommateurs
Pour les développeurs, cette innovation ouvre la voie à la création d’environnements plus complexes sans nécessiter des connexions Internet ultra-rapides. La recherche démontre que le streaming immersif peut évoluer d’applications spécialisées vers des outils de divertissement et de productivité au quotidien. Comme l’a souligné Liu, la bande passante a toujours été une contrainte, et cette recherche contribue à remédier à cette limitation.
Dans ce contexte, des applications comme des vidéos éducatives en danse en utilisant le nuage de points pourraient devenir accessibles via des appareils standard, rendant ainsi l’enseignement de la danse en 3D réalisable avec des exigences de bande passante considérablement réduites.
Pour en savoir plus sur cette technologie avant-gardiste, vous pouvez consulter cet article sur les générateurs de faisceaux en vortex.
EN BREF
|
