reality-opened/openreality

OpenReality – 将手机视频转化为 AI 可查询的 3D 世界

功能

• 上传一段用手机拍摄的短视频。该服务（或自托管服务器）会运行 SLAM 式重建流程，将视频转换为包含几何结构、检测到的物体和报告的持久化 3D 场景。
• 生成的场景可通过 Model Context Protocol（MCP）由基于 LLM 的 AI 助手（Claude、Codex、Cursor 等）查询。助手可以要求系统测量距离、规划导航路径、导出机器人训练数据，或直接回答“房间里有什么？”这样的问题。

主要组件

组件	作用	获取方式
core/	低级重建库（VGGT-SLAM 2.0），用于跟踪相机、构建高密度几何体、校准度量比例、执行物体检测/分割并导出 splat。	仓库中的源代码（从私有仓库镜像）。
server/	接收视频、运行繁重的 GPU 重建任务、存储持久化场景，并提供用于测量、规划、智能体和数据导出的普通 REST API 的后端。	仓库中的源代码；可在带有 GPU 的机器上本地运行，或在 Modal 上运行。
mcp/	包装服务器端点的 41 个 MCP“工具”，外加一个无需 GPU 即可进行开发的离线模拟器。以 npm 包 openreality-mcp 发布。	通过 npm i -g openreality-mcp 安装，或使用 npx openreality-mcp serve 运行。

使用方法

1. 将工具添加到你的 AI 助手 – 例如 claude mcp add openreality -- npx -y openreality-mcp serve（Codex/Cursor 类似）。助手现在会识别诸如 measure、plan path、export robot data 等命令。
2. 登录一次（npx openreality-mcp login）。可撤销的 API 密钥将存储在本地。
3. 上传视频 – 可以通过托管 UI（open-reality.io）或让助手上传本地文件。
4. 提问 – “扫描中有哪些物体？”、“沙发到窗户有多远？”、“给我一条从门到桌子的路径”等。

自托管

• 克隆仓库并在带有 GPU 的机器上运行 python -m server.selfhost --data-dir ~/openreality-data，或者部署 Modal 版本（modal deploy modal_selfhost.py）。
• 服务器在 CC-BY-NC-4.0 许可下获取 3D 重建模型（VGGT-1B）；商业使用需要托管服务或单独的商业许可。

重要性

• 弥合原始视觉数据与可操作的 AI 智能体之间的差距：LLM 现在可以“看到”空间、测量空间，并为机器人规划行动。
• 提供了一个单一、开源的技术栈（重建、后端、MCP 工具），可完全在自己的硬件上运行，保护隐私并避免供应商锁定。
• MCP 接口使功能对任何支持该协议的 AI 助手都可发现，将 3D 世界转换为类型化、可靠的工具调用，而非模糊的文本提示。

许可证与注意事项

• 此仓库中的代码为 BSD-2-Clause。重建模型为 CC-BY-NC-4.0（仅非商业用途）。对于商业项目，必须使用托管服务或获得单独许可。
• mcp/ 是此公共仓库中唯一积极开发的部分；server/ 和 core/ 是私有仓库的精选镜像，手动更新。

总结 OpenReality 让您将日常手机视频转换为结构化的 3D 场景，AI 助手可以查询并据此操作，并提供可自托管的技术栈和简洁的工具接口。