World Labs dévoile son second modèle pour générer des mondes virtuels en 3D

World Labs avance. La start-up créée par Fei-Fei Li, souvent présentée comme la marraine de l'IA, vient de publier une mise à jour importante de son système d'IA capable de générer des mondes virtuels en 3D à partir d'une seule image ou d'un prompt. Présenté pour la première fois en décembre 2024, il avait alors pour objectif de donner un premier aperçu des capacités de générations en 3D de l'entreprise.

Aujourd’hui, World Labs revient donc avec RTFM (Real-Time Frame Model), un autre modèle pour générer le monde en temps réel. Cette version peut générer des vidéos en temps réel au fur et à mesure que l'utilisateur interagit avec lui. Il permet d’explorer des mondes 3D générés ainsi que des lieux réels. Pour fonctionner, la start-up explique qu'il repose sur trois principes, à savoir l'efficacité, l'évolutivité et la persistance.

Proposer un modèle cohérent sans grande puissance de calcul

Il fonctionne ainsi à des fréquences d’images interactives en utilisant un seul GPU H100 et est conçu pour évoluer avec l’augmentation des données et de la puissance de calcul. Il modélise des mondes 3D sans dépendre de représentations 3D explicites, et utilise une architecture générale de bout en bout qui apprend à partir de données vidéo à grande échelle. Il est possible d'interagir avec RTFM indéfiniment, et le monde ne sera jamais oublié. "Il modélise un monde 3D persistant qui ne disparaît pas lorsque vous détournez le regard", assure la start-up.

L'une des difficultés de développement de ce modèle consistait en effet à créer un système qui ne soit pas énergivore comme le sont les LLMs actuels. "Notre ambition était de créer un modèle pouvant fonctionner sur un seul GPU H100, en maintenant des fréquences d’images interactives et des mondes persistants, quelle que soit la durée de l’interaction. Atteindre ces contraintes nous permet d’anticiper l’avenir, en offrant dès aujourd’hui un aperçu de ce que ces modèles pourraient accomplir demain", indique l'équipe par communiqué. RTFM est disponible dès aujourd’hui en research preview.