nicolasvonluetzow/GaussianGPT

何を解決しているか

GaussianGPTは3Dシーン生成の課題に対処しています。現在の大多数の手法が拡散モデルやフロー・マッチングに依存している一方で、本プロジェクトは完全に自己回帰的な代替手段を提供し、ステップバイステップで3Dガウスシーンを生成可能にします。これにより、シーンの補完、アウトペインティング、制御可能なサンプリングといった機能が実現できます。

動作方法

システムは2段階のパイプラインを使用しています：

1. VQ-VAE：ベクトル量子化を備えたスパース3D畳み込みオートエンコーダーが、3Dガウスプリミティブを離散トークンに圧縮します。この段階では gsplat を用いた再レンダリング損失によって教師されます。
2. GPT：3D回転位置埋め込みを備えた因果的トランスフォーマーが、これらのトークンストリームを次トークン予測によってモデル化します。

シーンを生成する際、GPTがトークンをサンプリングし、そのトークンは固定されたVQ-VAEによって再び3Dガウスにデコードされ、レンダリングされます。

対象ユーザー

本プロジェクトは、3D生成モデリング、ニューラルレンダリング、コンピュータビジョンの分野で研究・開発を行っている研究者や開発者を対象としています。特に、拡散ベースの3D生成に対する自己回帰的代替手法に興味がある方々に適しています。

特徴

• 自己回帰的生成：全体を一度に最適化するのではなく、順次的に3Dシーンを構築します。
• 柔軟な生成：無条件生成、プロンプト条件付き補完、空間的アウトペインティングをサポートします。
• スケーラブルなタイリング：複数のチャンクをタイリングして大規模な3Dシーンを生成可能です。
• 明示的表現：3Dガウスを直接操作するため、現代のニューラルレンダリングパイプラインと互換性があります。