Supra-3D/SUPRA-Tex

解決する課題

SUPRA-Tex は、単一の画像から高品質でリアルな3Dアセットを生成するという課題に取り組みます。標準的な3D生成では失われがちな、テキスト、特定のパターン、マテリアルの境界などの微細な視覚的詳細を保持することに焦点を当て、同時に結果のオブジェクトが再照明可能であることを保証します。

仕組み

このシステムは多段階のパイプラインを使用します。まず、入力画像の参照ビューからPBR（物理ベースレンダリング）マテリアルを予測します。次に、これらを表面整合3Dオブザベーションとしてエンコードします。「インターリーブド・フロー・トランスフォーマー」を使用して、オブジェクトの未見領域を埋めます。最終出力は、ベースカラー、メタリック、ラフネステクスチャを含むGLBファイルであり、アセットを異なる照明条件下でレンダリングできます。

対象ユーザー

このツールは、3Dコンテンツ作成、アセット生成、またはコンピュータビジョンタスクに取り組む研究者や開発者向けに設計されており、最小限の入力データから高忠実度のテクスチャとPBR準拠の3Dモデルを必要とします。

ハイライト

• ベースカラー、メタリック、ラフネスマップを含む完全なPBRアセットを生成。
• 表面整合オブザベーションを使用して、文字やパターンなどの入力画像の詳細を保持。
• エンドツーエンドの画像から3D生成と、既存メッシュのテクスチャリングの両方をサポート。
• 高精細テクスチャ用のオプションのリファインメントモードを搭載。
• オブジェクトの未見の「背面」の外観を改善するデュアルビューテクスチャリングワークフローを提供。