harry7557558/spirula-studio

何を解決するか

Spirula Studio は、3Dガウシアンスプラッティングのためのスムーズでワンストップのパイプラインを提供します。Python や PyTorch、または COLMAP などの別々の構造から画像（SfM）ツールのような複雑な依存関係を必要とせず、単一のバイナリから生の写真や動画を 3D スプラットおよびテクスチャ付きメッシュに変換できます。

動作方法

このプロジェクトは、Vulkanベースのコンピュートバックエンドを使用して、NVIDIA、AMD、Intel、Apple Silicon などのクロスベンダーGPUサポートを確保しています。MCMC、IGS+、MRNF を組み合わせたトレーニング戦略を実装し、よりシャープな結果と少ないアーティファクトを実現します。高い効率を維持するために、量子化トレーニングを使用しており、8GBのVRAMで最大1000万個のガウシアンをトレーニングできます。また、フレーム抽出、AIマスキング（SAM経由）、ネイティブSfMによるカメラポーズ推定のための組み込みツールも備えています。

対象ユーザー

GPUハードウェアにかかわらず、インストールが簡単で自己完結型の高性能3D再構成パイプラインを必要とするアーティスト、3D開発者、研究者。

主な特徴

• クロスベンダーGPUサポート：Vulkanを介して NVIDIA、AMD、Intel、Apple GPUで動作。
• VRAM効率：量子化トレーニングにより、8GB VRAMのコンシューマー向けハードウェアで大規模なシーン（1000万個のガウシアン）を扱える。
• エンドツーエンドワークフロー：フレーム抽出、AIマスキング、SfMが統合されており、外部スクリプトの必要がありません。
• 専用カメラサポート：歪み補正を必要とせずに、360°および等距離投影カメラをネイティブでサポート。
• 品質向上：修正されたバイラテラルグリッドと PPISP を使用して露出およびホワイトバランス補正を実施。