reality-opened/openreality

OpenReality – スマートフォンの動画をAIで照会可能な3D世界に変換

機能

• スマートフォンで撮影した短い動画をアップロードします。このサービス（またはセルフホストサーバー）は、SLAMスタイルの再構築パイプラインを実行し、映像をジオメトリ、検出されたオブジェクト、レポートを含む永続的な3-Dシーンに変換します。
• 結果のシーンは、Model Context Protocol（MCP）を介してLLMベースのAIアシスタント（Claude、Codex、Cursorなど）から照会できます。アシスタントは、距離の測定、ナビゲーションパスの計画、ロボットトレーニングデータのエクスポート、または単に「部屋に何がある？」といった質問への回答をシステムに依頼できます。

主要コンポーネント

コンポーネント	役割	入手方法
core/	カメラの追跡、高密度ジオメトリの構築、メトリックスケールのキャリブレーション、オブジェクト検出/セグメンテーションの実行、スプラットのエクスポートを行う低レベル再構築ライブラリ（VGGT-SLAM 2.0）。	リポジトリ内のソースコード（プライベートリポジトリからミラーリング）。
server/	ビデオを受信し、重いGPU再構築ジョブを実行し、永続的なシーンを保存し、測定、計画、エージェント、データエクスポートのためのプレーンなREST APIを公開するバックエンド。	リポジトリ内のソースコード。GPU搭載マシンでローカルに実行するか、Modalで実行できます。
mcp/	サーバーのエンドポイントをラップする41個のMCP「ツール」と、GPUなしでの開発用のオフラインシミュレーター。npmパッケージ openreality-mcp として公開されています。	npm i -g openreality-mcp でインストールするか、npx openreality-mcp serve で実行します。

使用方法

1. AIアシスタントにツールを追加 – 例：claude mcp add openreality -- npx -y openreality-mcp serve（Codex/Cursorの場合は同等）。アシスタントは measure、plan path、export robot data などのコマンドを認識するようになります。
2. 一度ログイン（npx openreality-mcp login）。取り消し可能なAPIキーがローカルに保存されます。
3. ビデオをアップロード – ホスト型UI（open-reality.io）またはアシスタントにローカルファイルのアップロードを依頼するかのいずれかで行います。
4. 質問する – 「スキャン内のオブジェクトは？」「ソファから窓までどのくらいの距離ですか？」「ドアからデスクまでの経路を教えて」など。

セルフホスティング

• リポジトリをクローンし、GPU搭載マシンで python -m server.selfhost --data-dir ~/openreality-data を実行するか、Modalバージョンをデプロイします（modal deploy modal_selfhost.py）。
• サーバーは3D再構築モデル（VGGT-1B）をCC-BY-NC-4.0ライセンスで取得します。商用利用にはホスト型サービスまたは別途商用ライセンスが必要です。

重要性

• 生の視覚データと実用的なAIエージェントの間のギャップを埋めます：LLMは空間を「見て」、測定し、ロボットのアクションを計画できるようになります。
• 完全に自分のハードウェアで実行できる単一のオープンソーススタック（再構築、バックエンド、MCPツール）を提供し、プライバシーを保護し、ベンダーロックインを回避します。
• MCPインターフェースにより、プロトコルをサポートする任意のAIアシスタントが機能を検出でき、3D世界を曖昧なテキストプロンプトではなく、型付きで信頼性の高いツールコールのセットに変換します。

ライセンスと注意事項

• このリポジトリのコードはBSD-2-Clauseです。再構築モデルはCC-BY-NC-4.0（非営利のみ）です。商用プロジェクトでは、ホスト型サービスを使用するか、別途ライセンスを取得する必要があります。
• mcp/ はこの公開リポジトリで積極的に開発されている唯一の部分です。server/ と core/ はプライベートリポジトリのキュレーションされたミラーであり、手動で更新されます。

結論 OpenRealityを使用すると、日常のスマートフォン動画を、AIアシスタントが照会して操作できる構造化された3Dシーンに変換でき、セルフホスト可能なスタックとクリーンなツールベースのインターフェースを備えています。