LiteReality/LiteReality-Agent

LiteReality-Agent – 将手机拍摄的房间扫描转换为支持物理模拟的 3D 场景

它是什么 – 一个开源的端到端工具包，可获取 LiteReality iOS 扫描应用生成的 RGB-D 扫描数据，并自动构建一个完全铰接、可用于模拟的室内场景。该流水线运行一系列 AI 驱动的模块（布局清理、物体铰接、材质生成、物理参数推断），最终将结果导出为兼容 MuJoCo 的 URDF/MJCF 文件、Blender 场景或 GLB 资产。

为什么它很重要 – 机器人研究人员和开发人员通常需要花费数小时手动清理扫描数据、添加碰撞体并分配质量，然后才能将场景用于模拟或强化学习实验。LiteReality-Agent 自动化了整个工作流程，让你只需一条命令，即可从 30 秒的手机扫描转变为具有真实质量、惯性、关节和碰撞几何形状的 MuJoCo 场景。

关键功能（如 README 中所述）

功能	仓库的作用
扫描导入	接受 LiteReality Scanner 生成的 `room.usdz` 包（RGB 帧、深度、几何信息）。
布局清理	布局代理在构建任何物体之前，将嘈杂的原始扫描数据解析为无碰撞的平面图。
铰接资产生成	使用 Articraft 方法推断物体部件、关节、质量、惯性和碰撞体；每个物体都成为一个独立的刚体。
材质与视觉优化	调用基于 LLM 的代理（使用 GPT-6 的 `codex`、`claude`）和图像生成 API（OpenAI 或 Gemini）来合成参考纹理并提高视觉保真度。
物理导出	生成可直接加载到 MuJoCo 中的 URDF 和 MJCF 文件；同时输出 Blender (`.blend`) 和 GLB 文件，供 Unity/Unreal/Web 查看器使用。
实时预览	使用 `--live` 参数，CLI 会流式传输一个 Web 查看器，显示正在逐步构建的场景。
抖动测试	内置的 MuJoCo “抖动”阶段可测量物体的运动情况，确认物理参数是否合理。

典型工作流程

捕获 – 使用免费的 LiteReality Scanner iOS 应用走过房间（生成 room.usdz）。
上传 – 将扫描文件夹复制到运行工具包的机器上。
设置 – 使用 uv 安装 Python 环境，将 BLENDER_PATH 指向 Blender 5.x，并提供 API 密钥（OPENAI_API_KEY 或 GEMINI_API_KEY）以及用于托管 GPU 模型的 Modal 令牌。
运行 – 一条命令完成所有操作：
```
uv run litereality run scans/<your-scan>
```
阶段 1 (scene init) 创建一个确定性的种子房间；阶段 2 (authoring) 运行代理通道，优化几何形状、添加铰接并润色材质。
模拟 – 导出到 MuJoCo 并可选择运行抖动测试：
```
uv run litereality stage simulate run/<scan> --shake
```
检查 – 在本地或交互式 Web 查看器中查看最终的 GLB/Blender 文件。

安装亮点

包管理器：uv（快速、确定性的锁文件）。使用 uv sync --frozen --extra modal --group dev 安装。
依赖项：Blender 5.x，支持 GPU 的模型后端（TRELLIS + GroundingDINO）。默认情况下，这些繁重的模型在 Modal（免费层）上运行，因此没有 GPU 的 Mac 也可以使用该工具包。
环境变量：用于图像生成的 API 密钥、Modal 凭据、BLENDER_PATH 以及包含扫描数据的目录。
一次性模型部署：uv run litereality setup 配置远程容器。

适用人群

机器人研究人员：需要真实的室内环境进行仿真到现实（sim-to-real）迁移、操作规划或强化学习。
游戏/VR 开发人员：想要快速、物理精确的真实房间原型。
计算机视觉实验室：探索 3D 重建、布局推理或铰接物体检测。
教育工作者：演示从传感器数据到模拟的端到端流水线。

当前状态（截至 README）

版本 0.0 发布于 2026-08-01。
模拟就绪（MuJoCo 导出）添加于 2026-09-12。
程序化物理（质量、惯性、关节）通过 Articraft 集成于 2026-09-09。
布局代理 引入于 2026-09-07。
论文发布于 arXiv (2610.01863) 2026-10-01。

引用

如果您在研究中使用该系统，请引用随附的 arXiv 论文：

@misc{huang2026literealityagentagenticinteractable3d,
  title = {LiteReality-Agent: An Agentic System for Interactable 3D Indoor Scene Reconstruction},
  author = {Zhening Huang and Yueyan Li and Johnathan Chiu and Xiaoyang Lyu and Matt Zhou and Yuxin Yao and Joan Lasenby and Shangzhe Wu},
  year = {2026},
  eprint = {2610.01863},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV},
  url = {https://arxiv.org/abs/2610.01863}
}

总结 – LiteReality-Agent 是一个真正的研究级开源系统，它架起了移动 RGB-D 扫描与基于物理的模拟之间的桥梁，自动化了许多传统上需要手动 3D 建模和绑定（rigging）的步骤。