Les générateurs de modèles 3D d’OpenAI Point-E pourraient être la prochaine innovation à révolutionner le domaine de l’IA. Point-E, un système d’apprentissage automatique qui génère un objet 3D à partir d’une invite de texte, a été mis à la disposition du public cette semaine par OpenAI.
Un article publié avec le base de code affirme que Point-E peut créer des modèles 3D sur un seul GPU Nvidia V100 en une à deux minutes.
Au sens conventionnel, OpenAI Point-E ne produit pas d’objets 3D. Au lieu de cela, il crée des nuages de points, qui sont des collections discrètes de points de données dans l’espace qui reflètent des formes 3D ; d’où l’abréviation ludique. D’un point de vue informatique, les nuages de points sont plus simples à créer, mais ils constituent actuellement un inconvénient majeur d’OpenAI Point-E car ils ne peuvent pas capturer la forme ou la texture fine d’un objet.
L’équipe OpenAI Point-E a formé un système d’IA supplémentaire pour transformer les nuages en maillages afin de contourner cette restriction. Cependant, dans le rapport, ils soulignent que le modèle manque parfois des détails d’éléments spécifiques, ce qui entraîne des formes en blocs ou déformées.
OpenAI Point-E est capable de générer des modèles 3D en quelques secondes
OpenAI Point-E est composé de deux modèles : un modèle texte-image et un modèle image-3D, en plus du modèle de génération de maillage, qui est un modèle autonome. Le modèle texte-image a été formé sur des images étiquetées pour comprendre les relations entre les mots et les concepts visuels, un peu comme les systèmes d’art génératif comme DALL-E 2 et Stable Diffusion d’OpenAI. Le modèle image en 3D, d’autre part, a appris à traduire efficacement entre les deux en étant alimenté par un ensemble de photographies couplées à des objets 3D.
Le modèle Point-text-to-image E crée un élément de rendu synthétique à partir d’une invite de texte, tel que “un engrenage imprimé en 3D, un seul engrenage, de 3 pouces de diamètre et d’un demi-pouce d’épaisseur”, et le transmet à l’image-to -Modèle 3D, qui crée un nuage de points.
OpenAI Point-E pourrait générer des nuages de points colorés qui correspondaient généralement aux invites de mots après avoir formé les modèles sur un ensemble de données de “plusieurs millions” d’objets 3D et de métadonnées associées, selon les chercheurs d’OpenAI. Ce n’est pas parfait; occasionnellement, le modèle de Point-image-to-3D E ne peut pas interpréter l’image à partir du modèle texte-image, ce qui conduit à une forme qui ne correspond pas à l’invite de texte. Même ainsi, l’équipe OpenAI affirme qu’elle est plus rapide que l’état de l’art antérieur.
“Bien que notre méthode donne de moins bons résultats sur cette évaluation que les techniques de pointe, elle produit des échantillons en une petite fraction du temps”,
“Cela pourrait le rendre plus pratique pour certaines applications, ou pourrait permettre la découverte d’objets 3D de meilleure qualité.”
-Équipe OpenAI
OpenAI Point-E pourrait être un outil puissant pour concevoir des projets
Quelles sont exactement les applications d’OpenAI Point E ? Cependant, les nuages de points créés par Point-E pourraient être utilisés pour créer des objets réels, par exemple, grâce à l’impression 3D, selon les chercheurs d’OpenAI. Une fois un peu plus raffiné, le système pourrait également être utilisé dans les processus de production de jeux et d’animations grâce à l’ajout du modèle de conversion de maillage.
Bien qu’il s’agisse de l’entreprise la plus récente à entrer sur le marché de la génération d’objets 3D, OpenAI n’est en aucun cas la première, comme cela a été dit précédemment. Une version plus développée de Dream Fields, une technologie 3D générative que Google a révélée en 2021, a été publiée plus tôt cette année sous le nom de DreamFusion.
DreamFusion, contrairement à Dream Fields, ne nécessite aucune formation préalable. Par conséquent, il peut créer des modèles 3D d’objets sans données 3D. Alors que les générateurs d’art 2D sont actuellement au centre de l’attention, l’IA de synthèse de modèles a le potentiel d’être le prochain perturbateur industriel majeur. Les modèles 3D sont fréquemment utilisés dans les domaines de la science, du design d’intérieur, de l’architecture, du cinéma et de la télévision. Les ingénieurs utilisent des modèles comme conceptions pour de nouveaux équipements, véhicules et structures, tandis que les cabinets d’architectes les utilisent pour démontrer les bâtiments et les paysages proposés.
Source: OpenAI Point-E génère des modèles 3D avec la puissance de l’IA
