TencentARC/Pixal3D

何を解決するか

Pixal3Dは、単一画像からの3Dアセット生成における精度の欠如に対処します。従来の手法はしばしば画像特徴を粗く注入するのに対し、Pixal3Dはピクセルと3D空間の直接対応関係を確立することで、高精細なジオメトリとPBRテクスチャを保証します。

動作方法

このシステムは、解像度を段階的に向上させる3段階のカスケードを使用します：

1. スパース構造：初期の粗い構造（32〜64解像度）を生成。
2. 形状：ジオメトリを精緻化（256〜1024解像度）。
3. テクスチャ：詳細なPBRテクスチャを追加（256〜1024解像度）。

ピクセル特徴をバックプロジェクションによって3D空間に明示的に持ち上げることで、アテンション機構に依存せず、単一画像または同じオブジェクトの複数ビュー（別々のマルチビュー重みを使用）で動作可能です。

対象ユーザー

• 3Dアーティストおよびデザイナー：2D画像から高品質な3Dアセットを迅速に生成。
• AI研究者：3D生成およびピクセル対応投影条件付きの研究に従事する方。
• 開発者：GradioウェブデモまたはComfyUI拡張機能を通じて3D生成をワークフローに統合したいユーザー。

特徴

• ピクセル対応投影：ピクセルと3D空間の直接対応関係を確立し、再構成レベルに近い忠実度を実現。
• マルチビュー対応：オブジェクトの複数画像を条件として生成プロセスに使用可能で、精度向上。
• PBRテクスチャ：詳細な物理ベースレンダリングテクスチャを備えたアセットを生成。
• カスケードトレーニング：スパース構造から高解像度テクスチャへとスケーリングする構造化された3段階パイプライン。
• 低VRAMモード：コンシューマー向けハードウェアでも利用可能な、ピークメモリ使用量を削減するオプションを備えています。