IA générative : Avec 3D Gen, Meta réalise une percée dans le rendu d'objets 3D

La maison mère de Facebook ne chôme pas en matière d'IA générative. Meta vient de dévoiler 3D Gen, un pipeline pour la génération de ressources textuelles en 3D. Ce système d'IA est capable de créer des ressources 3D à partir de commandes textuelles avec une grande fidélité au niveau des formes et des textures 3D en moins d'une minute, assure la firme. Il prend en charge le rendu basé sur la physique (PBR), nécessaire pour le ré-éclairage des ressources 3D dans les applications du monde réel.

3DGen intègre des composants techniques clés, notamment 3D AssetGen et 3D TextureGen, développés en interne par Meta pour la génération de text-to-3D et de text-to-texture. Avec 3D Gen, les chercheurs rendent possible la représentation des objets 3D simultanément de trois façons : dans l'espace de vue, dans l'espace volumétrique et dans l'espace UV (ou de texture). Résultat : les rendus générés sont d'une meilleure qualité par rapport à d'autres solutions existantes, et ce, à une vitesse 3 à 10 fois supérieure à celle des travaux existants dans ce domaine.

Des avancées significatives dans la génération de contenus 3D

Avec 3D AssetGen, Meta se démarque une fois de plus de ce que l'on trouve sur le marché. Par rapport aux travaux qui intègrent l'ombrage dans l'apparence de l'objet 3D, le modèle AssetGen génère des matériaux de rendu physique, prenant en charge un rééclairage réaliste. Dans le détail, le système génère d'abord plusieurs vues de l'objet avec "des canaux d'apparence ombrés et albédo factorisés, puis reconstruit les couleurs, la métallurgie et la rugosité en 3D, en utilisant une perte d'ombrage différée pour une supervision efficace", expliquent les chercheurs de Meta.

La deuxième étape de conversion de l'image en 3D se fait en deux temps. Tout d'abord, un reconstructeur 3D (surnommé MetaILRM) génère un champ SDF supporté par un plan triplan converti en un maillage avec des matériaux PBR texturés. Ensuite, les matériaux de rendu physique sont améliorés avec un raffineur de texture qui récupère les détails manquants des vues d'entrée.

La texture, un aspect clé des rendus d'objets 3D

Le modèle 3D TextureGen, quant à lui, offre également des capacités intéressantes d'un point de vue génération de textures pour les objets 3D. Les chercheurs de Meta estiment que la clé, pour obtenir des résultats pertinents lors de l'utilisation des réseaux texte-image, réside dans "la combinaison de cohérence globale, de qualité et de vitesse, qui est cruciale pour faire progresser la génération de textures vers des applications concrètes".

À cette fin, ils présentent Meta 3D TextureGen qui consiste en une méthode de rétroaction composée de deux réseaux séquentiels visant à "générer des textures de haute qualité et globalement cohérentes pour des géométries arbitraires de tout degré de complexité en moins de 20 secondes". A partir de cette méthode, les chercheurs ont ainsi conditionné un modèle texte-image sur une sémantique 3D dans un espace 2D et les ont ensuite fusionné dans une carte de texture UV complète et à haute résolution. En complément, ils indiquent introduire "un réseau d'amélioration de texture capable de mettre à l'échelle n'importe quelle texture selon un rapport arbitraire, produisant des textures d'une résolution de 4 000 pixels".

A terme, ce type d'outil pourrait offrir un pont entre le contenu généré par l'IA et les flux de travail 3D professionnels et apporter une aide précieuse dans plusieurs secteurs, à commencer par celui des jeux vidéo, du graphisme ou encore de l'architecture. L'objectif étant, à terme, d'obtenir une intégration transparente des ressources créées par l'intelligence artificielle au sein des pipelines existants. Pour l'heure, Meta ne précise pas s'il compte commercialiser son système 3D Gen ou si ce dernier restera entre les mains de la communauté de recherche.