harry7557558/spirula-studio

Cross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA.

解決する課題

Spirula Studioは、現実世界のシーンを高忠実度で3D表現する3D Gaussian Splattingモデルの作成を簡素化します。複雑なPython環境やPyTorchの依存関係、COLMAPのような外部ツールを必要とせず、生の写真やビデオの入力から最終的なテクスチャ付きメッシュまでの全パイプラインを、使いやすい単一のバイナリに統合しています。

仕組み

このソフトウェアはVulkanコンピューティングを使用してベンダー間の互換性を確保しており、NVIDIA、AMD、Intel、Apple SiliconのGPUで動作します。点分布を最適化するMCMC(マルコフ連鎖モンテカルロ法)、背景削除のためのAIマスキング、画像やビデオからカメラ位置とシーンのジオメトリを計算する組み込みのStructure-from-Motion (SfM) モジュールなど、いくつかの高度な技術を統合しています。

対象ユーザー

複雑なソフトウェアの依存関係やハイエンドなサーバーサイドAIインフラを管理することなく、写真やビデオから高品質な3Dアセットを生成したい3Dアーティスト、研究者、ホビーユーザー向けに設計されています。

ハイライト

  • VulkanによるWindows、Linux、macOSのクロスプラットフォームサポート。
  • メモリ効率の高いトレーニング。8GBのVRAM内で1,000万個のガウス分布を処理可能。
  • 360°カメラおよび魚眼カメラのネイティブサポート。手動での歪み補正が不要。
  • AIマスキングとビデオファイルからの高速フレーム抽出機能を内蔵。
  • 3Dモデルやレンダリングの編集、メッシュ化、エクスポート用ツールを同梱。

関連

  • Dispatch
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト