La vidéo numérique est un domaine bien plus complexe que le traitement d’images statiques. Il en va de même pour sa création avec des outils incluant des modèles d’intelligence artificielle.
Pour cette raison, l’apparition de Lumiere, un modèle de diffusion texte-vidéo développé par Google Research, encore en cours de recherche, qui utilise une architecture différente de celles qui existent déjà sur le marché et qui reposent sur la synthèse de frames , suscitent l’admiration. éloignés les uns des autres sur la chronologie complétée par des techniques de super-résolution d’image, ce qui peut entraîner un manque de fluidité et de réalisme.
En revanche, Lumiere présente l’architecture Space-Time U-Net (STUNet), qui permet au modèle d’effectuer un traitement en une seule étape sur toute la durée temporelle, générant des vidéos dans lesquelles il capture l’instruction textuelle de manière très cohérente. (ou rapide). A ce stade du projet, les vidéos durent 5 secondes avec une qualité haute résolution.
Mais Lumiere de Google Research peut également générer des vidéos à partir d’images individuelles si on lui donne des instructions avec des références de style ou d’autres détails personnalisés.
Dans ce contexte, il est capable de créer des animations dans des régions spécifiques d’une image individuelle tandis que le reste reste statique ; Il peut également générer des séquences d’images basées sur des styles spécifiques et utiliser des techniques d’inpainting, à la fois pour modifier certains éléments visuels de la vidéo et pour restaurer des vidéos incomplètes en remplissant les parties manquantes.
Comment apprécier le travail réalisé avec Lumiere ?
Selon le document du projet, Lumiere s’adresse aux utilisateurs novices qui souhaitent générer du contenu audiovisuel de manière créative et flexible. Ils soulignent cependant les risques que comporte cette technologie qui, si elle tombe entre de mauvaises mains, peut conduire à la génération massive de contenus faux ou inappropriés. Si vous souhaitez apprécier le travail effectué avec Lumiere il vous suffit de visiter sa page hébergée sur GitHub https://lumiere-video.github.io/.
Image : Lumiere