Une startup Californienne, World Labs, a mis en place un modèle d'IA baptisé Marble capable de générer des mondes 3D à partir de simples entrées comme des images, des textes ou des vidéos. Ce modèle multiforme est présenté comme une réponse aux défis posés par l'intelligence artificielle spatiale.
Marble fonctionne en analysant les données fournies pour extraire la géométrie implicite, les volumes, les matériaux et les relations spatiales avant de reconstruire un environnement complet. Ce processus génératif est similaire à une vision robotique mais enrichi par une couche de génération.
Le modèle peut produire des mondes complets avec des zones hors champ et permet de naviguer dedans. Marble propose également des outils d'édition intégrés qui autorisent l'utilisateur à modifier son monde virtuel en ajoutant ou en modifiant des éléments tels que des objets, des zones de lumière ou des textures.
Les utilisateurs peuvent exporter leur scène sous forme d'éclaboussures gaussiennes ou de maillages triangulaires. Le modèle peut également gérer différents types de maillages comme des maillages haute qualité, des maillages de collision et des maillages basse fidélité.
La startup a mis en place un laboratoire créatif et communautaire appelé Marble Labs qui permet à ses utilisateurs d'explorer des mondes 3D générés par le modèle. La version gratuite propose la possibilité de générer quelques mondes 3D, mais sans les outils avancés ni l'export. Pour un usage professionnel ou commercial, il faut passer aux abonnements payants pour bénéficier de toutes les fonctionnalités.
World Labs n'évolue pas seul sur ce terrain car plusieurs acteurs développent des modèles capables de comprendre ou de générer des environnements en 3D. Cependant, Marble produit des mondes persistants, navigables et exportables, ce qui se démarque de nombreuses solutions concurrentes qui se concentrent encore sur la simulation, la reconstruction partielle ou des prototypes de recherche.
World Labs a reçu des investissements majeurs de l'ordre de 230 millions de dollars pour renforcer son modèle d'affaires et développer ses fonctionnalités.
Marble fonctionne en analysant les données fournies pour extraire la géométrie implicite, les volumes, les matériaux et les relations spatiales avant de reconstruire un environnement complet. Ce processus génératif est similaire à une vision robotique mais enrichi par une couche de génération.
Le modèle peut produire des mondes complets avec des zones hors champ et permet de naviguer dedans. Marble propose également des outils d'édition intégrés qui autorisent l'utilisateur à modifier son monde virtuel en ajoutant ou en modifiant des éléments tels que des objets, des zones de lumière ou des textures.
Les utilisateurs peuvent exporter leur scène sous forme d'éclaboussures gaussiennes ou de maillages triangulaires. Le modèle peut également gérer différents types de maillages comme des maillages haute qualité, des maillages de collision et des maillages basse fidélité.
La startup a mis en place un laboratoire créatif et communautaire appelé Marble Labs qui permet à ses utilisateurs d'explorer des mondes 3D générés par le modèle. La version gratuite propose la possibilité de générer quelques mondes 3D, mais sans les outils avancés ni l'export. Pour un usage professionnel ou commercial, il faut passer aux abonnements payants pour bénéficier de toutes les fonctionnalités.
World Labs n'évolue pas seul sur ce terrain car plusieurs acteurs développent des modèles capables de comprendre ou de générer des environnements en 3D. Cependant, Marble produit des mondes persistants, navigables et exportables, ce qui se démarque de nombreuses solutions concurrentes qui se concentrent encore sur la simulation, la reconstruction partielle ou des prototypes de recherche.
World Labs a reçu des investissements majeurs de l'ordre de 230 millions de dollars pour renforcer son modèle d'affaires et développer ses fonctionnalités.