Jumpat/SegAnyGAussians

何が解決できるか

SAGA（Segment Any 3D GAussians）は、3D ガウシアンスプラッティング（3DGS）で再構成された 3D シーン内の個々のオブジェクトのセグメンテーションを可能にします。インタラクティブなプロンプトまたはオープンボキャブラリークエリを使用して、複雑なシーンから特定の 3D オブジェクトを隔離および抽出することで、3D シーンが単一のセグメント化されていないガウシアンのクラウドとして表現される問題を解決します。

どのように機能するか

このシステムは、事前学習済みの Segment Anything Model（SAM）と CLIP 特徴を活用し、2D 画像マスクとセマンティック特徴を 3D ガウシアンの属性に関連付けます。多段階パイプラインに従います：

3DGS トレーニング：まず、シーンに対して標準の 3D ガウシアンスプラッティングモデルをトレーニングします。
特徴抽出：画像から SAM の 2D マスクと CLIP 特徴を抽出します。
親和性トレーニング：対比学習アプローチを使用して、同じオブジェクトに属するガウシアンが特徴空間で類似していることを確保するために、3D ガウシアンの親和性特徴をトレーニングします。
セグメンテーション：ユーザーは GUI またはノートブックを介してポイントプロンプトを提供し、システムは類似度を計算して 3D ガウシアンをセグメント化します。

対象ユーザー

このツールは、3D コンピュータビジョン、シーン再構成、拡張現実（AR）の分野で作業する研究者および開発者を対象としており、3D-GS で再構成された環境内の特定のオブジェクトを識別および隔離する必要があります。

ハイライト

インタラクティブ GUI：dearpygui ベースのインターフェースを含み、オブジェクトをリアルタイムでセグメント化するために回転、パン、ポイントプロンプトの入力が可能です。
オープンボキャブラリーセグメンテーション：CLIP 特徴（Jupyter Notebook で実装）を使用して、テキストベースの説明によるオブジェクトのクエリをサポートします。
3D クラスタリング：HDBSCAN を統合し、オブジェクトの分解のために 3D クラスタリングを実行します。
柔軟なレンダリング：セグメント化されたオブジェクトを背景から別々にレンダリングしたり、2D レンダーマスクを生成したりする機能があります。