Nouvelle technologie AI pour générer des modèles 3D de haute qualité en un clin d’œil

Un nouvel article de recherche rédigé par des scientifiques de Meta et de l’Université d’Oxford décrit une puissante technique basée sur l’IA pour la génération de modèles 3D évolutifs. VFusion3D répond au manque de données 3D pour la formation de l’IA et la génération de contenu. Ainsi, au lieu d’utiliser des modèles 3D existants, VFusion3D est entraîné sur du texte, des images et des vidéos.

Génération de modèles 3D

Les chercheurs affirment que VFusion3D “peut générer un actif 3D à partir d’une seule image en quelques secondes”, produisant des résultats de haute qualité et fidèles. Si ces modèles 3D évolutifs sont à la hauteur, ils pourraient faciliter beaucoup de travail dans les domaines du jeu, de la RV et du design.

L’équipe de recherche dirigée par Junlin Han, Filippos Kokkinos et Philip Torr explique le pipeline qu’ils ont conçu pour VFusion3D, comme le montre le diagramme ci-dessus. Le pipeline comprend une petite quantité de données 3D, qui est utilisée pour affiner un modèle de diffusion vidéo. Les vidéos sont d’excellentes sources pour ce pipeline car elles montrent souvent divers angles d’un objet, ce qui peut être essentiel pour des reproductions 3D fidèles.

Modèle de vidéo EMU

Les chercheurs ont choisi un modèle vidéo appelé EMU Video, car il a été formé avec un mélange de vidéos, y compris des plans panoramiques d’objets et des images de drones. Comme ils le disent, de telles sources vidéo “contiennent par essence des indices sur le monde 3D”. Le résultat est VFusion3D, qui est censé pouvoir “générer des actifs 3D de haute qualité à partir d’une seule image” indépendamment de l’angle de vue. Une étude utilisateur confirme ces affirmations.

En plus de tester leur nouveau modèle, les scientifiques l’ont comparé à des modèles générateurs 3D basés sur la distillation et l’avance. Après tout, il ne s’agit pas du premier outil qui cible cette tâche. Junlin Han de Meta met en avant la qualité comparative et les performances de VFusion3D sur une page de projet GitHub. Au même endroit, vous pouvez apprécier une sélection d’objets animés de VFusion3D et de ses concurrents – comparés à l’image source. Plusieurs comparaisons sont incluses dans notre galerie.

Si les lecteurs sont intéressés à tester VFusion3D, une démo en ligne est disponible. Vous pouvez y générer et télécharger un modèle 3D à partir de l’une des images d’exemple ou même télécharger votre propre source. Au moment où nous écrivons ces lignes, cette démo ne répondait pas car elle était “occupée”.

Source : www.tomshardware.com