Linketic/CityGaussian

[ECCV`24&ICLR`25] CityGaussian Series for High-quality Large-Scale Scene Reconstruction with Gaussians

何を解決するか

CityGaussianは、ガウシアンスプラッティングを用いた高品質で大規模な3Dシーン(たとえば都市規模の環境)の再構成という課題に対処します。膨大なデータセットを扱う際のメモリコストやGPU制限の問題を克服しつつ、幾何学的正確性とレンダリング速度を向上させます。

どう動くか

このプロジェクトは、シーン再構成にガウシアンスプラッティングを活用する一連の手法(V1およびV2)を実装しています。主なメカニズムは以下の通りです:

  • マルチGPU再構成:複数のGPUに再構成プロセスを分散し、メモリコストを制御可能なシステム。
  • モデル分割:大規模なシーンを処理するために、データを特定のモデルパーティションに分析・割り当てる。
  • 共同最適化:カメラポーズと3DGSの共同最適化が可能。これは、VGGT-Xなどの3D基礎モデルからの不完全なカメラポーズデータ(例:誤差のある結果)に特に有用。
  • メッシュ抽出:ガウシアン表現を幾何学的メッシュに変換するための2DGSスタイルのメッシュ抽出を統合。

誰向けか

このツールは、3Dコンピュータビジョン、都市計画、デジタルツイン作成に従事する研究者や開発者向けです。画像から現実世界の大規模環境を実際に再構成する必要がある方々に最適です。

特徴

  • スケーラブルなインフラ:GPU数に制限のないマルチGPU再構成をサポート。
  • 幾何学的正確性:CityGaussianV2で強調されているように、幾何学的に正確な再構成に注力。
  • 柔軟な最適化:ノイズのあるCOLMAP結果に対応するための共同ポーズおよび3DGS最適化をサポート。
  • 統合ツールキット:Webビューア、トラジェクトリーアライメントレンダリング、メッシュ動画生成を含む。

関連

  • プロジェクト
  • プロジェクト
  • Dispatch
  • Dispatch
  • プロジェクト