UWMILab/UniWM

UniWM – 视觉导航的统一世界模型

是什么

• 与 ECCV 2026 论文配套的研究代码库，提出一种用于第一人称视觉导航的记忆增强型世界模型。该模型将视觉预见（预测未来帧）与规划整合到一个统一的多模态自回归骨干网络中。

核心思想

• 统一骨干 – 与模块化流水线不同，同一个基于 Transformer 的模型（名为 Anole）既负责想象未来观测，也负责决定行动，使想象的视觉结果与所选行动紧密耦合。
• 分层记忆 – 短期感知线索与长期轨迹上下文一同存储，使模型能够在不丢失连贯性的情况下进行长时程推理。
• 多模态输入 – 输入为第一人称图像序列以及每步的元数据（动作、位姿）；输出可以是下一步动作、下一步帧，或两者皆有。

数据集

• 作者在 Hugging Face 上发布了 UniWM 数据集，包含多个室内导航分割（go_stanford, recon, sacson, scand）用于训练/评估，以及一个未见的 tartandrive 分割用于泛化测试。每个轨迹文件夹包含一系列第一人称 JPEG 帧和一个 traj_data.pkl 文件，其中包含动作和位姿。

如何开始

1. 环境 – 创建一个 Python 3.10 的 Conda 环境，并运行 bash install.sh（安装 PyTorch、依赖项和 Anole 代码）。
2. 数据 – 运行 bash download_data.sh 将所有分割下载到 data/ 目录中。
3. 训练 – 提供了一个 torchrun 示例命令；您需指定模型（anole）、数据集（逗号分隔）、图像序列长度（例如 784 帧）及其他标志。支持多 GPU 训练。
4. 评估 – 提供三种模式：
   • single-step（预测单步）
   • task-level（完整轨迹评估，可选记忆库推理）
   • rollout（自回归生成整个剧集）

相关工作

• 该仓库指向作者的早期项目 GOViG（基于视觉观测的 LLM 驱动指令生成）和 HA‑VLN（混合离散与连续导航并包含社会感知约束的基准）。

谁可能使用

• 需要在规划过程中想象未来视角的具身智能体研究者。
• 对在导航任务中实验记忆增强型 Transformer 感兴趣的开发者。
• 寻找可立即运行的数据集和训练脚本以复现 ECCV 2026 结果的人。

许可与引用

• MIT 许可。若使用代码或数据集，请引用 arXiv 论文（2510.08713）。

---

所有细节均直接取自仓库的 README。