ooolabdev/ooosplat

OOOSplat – ワンクリックでデスクトップ3D Gaussian Splatting

機能概要

• 通常の360°ビデオや一連の画像フォルダを、3D Gaussian Splattingモデル（あらゆる視点からレンダリング可能な点群のような表現）に変換します。
• 全てのパイプラインはローカルで実行され、クラウドへのアップロードやリモートAPIは不要です。必要なツール（FFmpeg、COLMAP、Brush）をバンドルし、React + Tauriで構築されたグラフィカルUIから制御します。

重要性

• Gaussian splattingは、画像から高品質でリアルタイムレンダリング可能な3Dシーンを生成する最新のニューラルグラフィックス技術です。VR/AR、ゲームアセット、視覚効果などで採用が進んでいます。
• OOOSplatはこの技術をプログラミング不要で利用可能にします。ビデオやフォルダを選択し、品質プリセット（Fast / Balanced / Fine）を選ぶだけで、フレーム抽出、カメラポーズの再構築、モデルトレーニング、PLYエクスポートといった複雑な作業をアプリが自動で行います。

主な機能

機能	内容
ワンクリック生成	MP4、MOV、JPG/PNGシーケンスをサポート。アプリがフレームを抽出し、COLMAPでStructure-from-Motionを実行し、BrushでGaussian splatモデルをトレーニングして、自動的に final.ply を書き出します。
3つの品質プリセット	Fast（低解像度、約8kイテレーション）、Balanced（中解像度、約15kイテレーション）、Fine（高解像度、最大30kイテレーション）。GPUメモリに基づいてフレームレート、解像度、トレーニング設定を自動調整します。
透明素材のサポート	Alphaチャンネル付きのMOV/PNGを処理し、COLMAP用の白黒マスクを生成することで、透明なオブジェクトを保持します。
マルチタスクマネージャー	複数のプロジェクトを並行して実行し、ライブ進捗、ログ、ハードウェア使用状況を確認。一時停止/キャンセルやチェックポイントからの再開も可能です。
ローカルMCP (Model Control Protocol)	オプションのローカルAIエージェントインターフェース（Codexスタイル）。ループバックHTTPエンドポイント経由でタスクの作成、開始、クエリ、キャンセルが可能です。
編集とプレビュー	生成されたPLYの表示、回転/拡大縮小/平行移動、個々のGaussianの選択と削除、取り消し/やり直し、編集済みモデルのエクスポートが可能です。
エクスポートオプション	縦型または横型のMP4ビデオ、単一ファイルのオフラインHTMLビューア (WebGPU/WebGL2)、または生のPLYファイルとしてエクスポートできます。
クロスプラットフォーム	Windows 11 (x64)、Apple-Silicon macOS 15+ (Alpha)、Ubuntu 24.04 LTS (x86_64 Alpha) 用のビルド済みバイナリを提供します。
プライバシー重視	すべてのソースメディア、中間データ、モデルはPC内に留まります。送信されるのはオプションの匿名テレメトリのみです（メディアやパスは含まれません）。

仕組み – パイプライン

1. 入力処理 – FFprobeでビデオを解析し、選択したFPSと解像度でFFmpegがフレームを抽出します。画像フォルダは自動的にソートされます。
2. COLMAP再構築 – 特徴抽出とマッチング（NVIDIAカードがある場合はGPU加速CUDA、それ以外はCPU）。インクリメンタルSfMによりカメラポーズと疎な点群を構築します。
3. Brushトレーニング – OOOBrush CLIがCOLMAPの出力を読み込み、GPU上でGaussian splatモデルをトレーニングします（Windows/LinuxはVulkan、Apple SiliconはMetalを使用）。
4. 検証とエクスポート – 生成された final.ply を検証し、プロジェクトフォルダに書き出します。UI上でモデルのプレビューや編集が可能です。

システム要件

• Windows: Windows 11 x64, WebView2 runtime, CUDA 13.2+ 対応のNVIDIA GPU（またはCPUフォールバック）。
• macOS: Apple-Silicon (M1/M2…) のみ。内蔵Metalバックエンドを使用し、CUDAは不要。
• Linux: Ubuntu 24.04 LTS x86_64。GPUトレーニングにはVulkanドライバが必要。それ以外はCPUのみ。
• Fineプリセットには8GB以上のVRAMを持つGPUを推奨。メモリ不足時はアプリが自動的に設定を下げます。

典型的なワークフロー

ビデオ / 画像フォルダを選択 → プロジェクトフォルダを選択 → 品質プリセットを選択 → 開始 →
   [FFmpegがフレームを抽出] → [COLMAPがカメラポーズを構築] → [BrushがGaussian splatsをトレーニング] →
   final.ply が生成 → プレビュー / 編集 → エクスポート (MP4, HTML, または PLY)

開発者向けメモ

• UIはReact 19フロントエンドをTauri 2ウィンドウ内でレンダリング。バックエンドはRust (Tokio async) です。
• エンジン（FFmpeg, COLMAP, Brush）はバンドルされており、npm run setup:engines で検証されます。カスタムCOLMAPフォークとBrushのソースコードは同じ組織 (ooolabdev) で管理されています。
• 診断用CLI (splatstudio) を提供し、ヘルスチェック、フレーム計画、コマンドラインからのフルパイプライン実行が可能です。
• ビルドスクリプトはWindows NSISインストーラー、macOS未署名DMG、Debianパッケージを処理します。

推奨ユーザー

• コマンドラインのSfMツールを学ばずに、手持ちの360°映像から3Dアセットを生成したいクリエイター。
• 再現可能でGUI駆動のワークフローを必要とするGaussian-splattingパイプラインの研究者。
• プライバシーを重視し（すべてのデータがローカルに留まる）、VR/ARコンテンツ制作に興味があるホビーユーザー。

---

結論: OOOSplatは、Gaussian-splattingの全ワークフロー（フレーム抽出、カメラ再構築、ニューラルトレーニング、エクスポート）をワンクリックに集約した、洗練されたクロスプラットフォームのデスクトップアプリです。最新のPCがあれば誰でも最先端のニューラルレンダリングを利用できます。