Une équipe de chercheurs Apple a développé un nouveau framework pour le rendu de scènes 3D haute résolution connu sous le nom de LGTM (Less Gaussians, Texture More). Ce cadre résout les inefficacités des méthodes existantes de projection gaussienne 3D à action directe qui ont du mal avec les hautes résolutions.
À mesure que la résolution augmente, les méthodes traditionnelles de rétroaction deviennent prohibitives, ce qui entrave la faisabilité de la génération de scènes 3D haute résolution. LGTM vise à améliorer les capacités des systèmes existants en séparant la complexité géométrique de la résolution du rendu, permettant ainsi une géométrie plus simple tout en ajoutant des textures détaillées.
Le cadre LGTM s’appuie sur des méthodes de rétroaction précédemment établies en superposant des prédictions de texture sur des structures géométriques. Les chercheurs ont formé le modèle à l’aide d’images basse résolution validées par rapport à des vérités terrain haute résolution, garantissant ainsi que la géométrie générée reste précise. De plus, un deuxième réseau axé sur les textures détaillées des images haute résolution permet au système de produire des résultats visuellement riches.
Cette innovation pourrait avoir un impact significatif sur le casque Apple Vision Pro, doté d’écrans totalisant environ 23 millions de pixels. Les méthodes de rétroaction actuelles sont confrontées à des limites dans des résolutions aussi élevées, ce qui entraîne des goulots d’étranglement informatiques lors de la génération rapide et précise de scènes. LGTM pourrait faciliter des performances plus fluides et des visuels plus nets dans les applications nécessitant un rendu de scène haute résolution.
En déployant LGTM, Apple peut offrir aux utilisateurs des environnements plus immersifs et des expériences de relais améliorées tout en réduisant les demandes de traitement. La page du projet LGTM propose des méthodes de démonstration telles que NoPoSplat, DepthSplat et Flash3D, présentant des résultats améliorés par rapport aux techniques précédentes.
Des exemples de vidéos et d’images du projet illustrent la capacité du LGTM à fournir des détails plus riches et des résultats plus proches des vérités terrain à haute résolution, démontrant ainsi ses avantages potentiels dans des applications pratiques.
