La récente avancée dans le domaine du montage vidéo propose un outil révolutionnaire permettant la sépération des arrière-plans en temps réel, sans nécessiter de formation préalable. Développé par une équipe de chercheurs de l’Université Bar-Ilan, cet outil novateur utilise des modèles de diffusion vidéo pré-entraînés pour retirer efficacement des objets de leurs arrière-plans, tout en conservant des éléments complexes comme les ombres et les reflets. Grâce à cette technologie, les créateurs de contenus et les éditeurs vidéo peuvent désormais réaliser des montages de manière plus rapide et économique, mettant ainsi à portée de main des fonctionnalités autrefois réservées à des processus lourds et coûteux.
Récemment, une équipe de chercheurs de l’université Bar-Ilan a dévoilé un outil innovant, OmnimatteZero, qui transforme la manière de traiter les vidéos grâce à une technique de séparation des objets du premier plan et des arrière-plans. Ce système, qui n’exige aucune formation préalable, utilise des modèles de diffusion vidéo pré-entraînés pour réaliser des compositions de calques et extraire des objets en seulement 0,04 seconde par image. Cette avancée promet de révolutionner le secteur de la création de contenus, facilitant le travail des monteurs et des designers.
Une avancée majeure dans le traitement vidéo
Conduit par le Dr. Dvir Samuel et le Professeur Gal Chechik, ce projet de recherche a été présenté lors de la conférence SIGGRAPH Asia. La méthode permet de retirer ou d’extraire des objets tout en préservant des éléments complexes tels que la fourrure, les cheveux, le feuillage, les ombres ou encore les réflexions. Contrairement aux méthodes actuelles qui nécessitent des modèles d’intelligence artificielle longs à former, OmnimatteZero offre un résultat équivalent avec une consommation de ressources minimale.
Un système de compostage visuel
OmnimatteZero agit comme un système de compostage visuel, rendant le recyclage de contenu plus accessible. Par exemple, un cygne dans un lac peut être extrait avec son reflet et inséré dans un autre décor aquatique, tout en permettant que le lac soit réutilisé comme arrière-plan, sans altérer les réflexions et les mouvements naturels de l’image. Ce processus simplifie la création de scènes visuellement cohérentes et fluides.
Une méthode accessible sans apprentissage complexe
Les chercheurs ont réussi à prouver que des modèles dédiés ne sont pas nécessaires pour la séparation des calques vidéo. OmnimatteZero s’appuie sur des modèles de génération vidéo existants, tels que WAN ou VEO3, pour exécuter des tâches de traitement en temps réel. Cela signifie que l’exécution des effets, habituellement source de longues attentes, peut désormais s’effectuer presque instantanément, rendant ce programme attrayant pour un large éventail d’utilisateurs, des monteurs professionnels aux créateurs de contenu occasionnels.
Un fonctionnement basé sur l’auto-attention
La technique novatrice évite également l’alourdissement lié à l’apprentissage supervisé. Au lieu de cela, elle utilise des techniques de complétion d’images adaptées aux images statiques, tout en intégrant des modules capables de suivre les changements au fil du temps afin de maintenir la cohérence de l’arrière-plan reconstruit. Le mécanisme d’auto-attention intégré permet d’identifier les objets et leurs effets sans phase d’apprentissage préalable, apportant ainsi une solution efficace et rapide.
Vers une utilisation quotidienne
Le potentiel d’OmnimatteZero ne s’arrête pas à l’édition professionnelle. En effet, l’outil pourrait devenir accessible pour l’usage quotidien, y compris pour les vidéos tournées sur des smartphones. D’autres équipes universitaires à travers le monde poursuivent les recherches pour perfectionner cette technologie. L’initiative ouvre des perspectives nouvelles pour tous ceux qui souhaitent enrichir leur créativité avec des outils de montage vidéo efficaces.
Un futur prometteur de synchronisation sonore
Le Dr. Samuel travaille sur de nouvelles directions de recherche, notamment sur la synchronisation audio. Par exemple, si un animal, comme un chien, est retiré d’une vidéo, il est crucial que le son, tel que les aboiements, ne persiste pas en l’absence du chien. Cette attention aux détails pourrait encore améliorer l’expérience utilisateur des futurs produits issus de cette recherche.
Pour plus d’informations sur des innovations contemporaines et des outils innovants, consultez des articles comme ce système inspiré de l’origami ou encore les nouveaux outils de YouTube.
EN BREF
|
