UWMILab/UniWM
Official implementation of paper "Unified World Models: Memory-Augmented Planning and Foresight for Visual Navigation"
解决的问题
UniWM 解决了视觉预测（想象将要发生的事情）与视觉导航中的行动规划之间对齐的挑战。它用统一的方法取代了模块化框架，确保机器人的决策直接基于其视觉想象的结果。
工作原理
UniWM 使用单一的多模态自回归骨干网络来整合视觉预测和规划。它采用分层记忆机制，将短期感知线索与长期轨迹上下文相结合，使模型能够在较长的导航范围内保持稳定且连贯的推理。
适用人群
本项目专为从事具身人工智能、自主导航以及机器人世界模型的研究人员和开发者设计。
主要亮点
- 统一的多模态自回归骨干网络，实现预测与规划的集成。
- 分层记忆机制，平衡短期与长期上下文。
- 基于视觉想象结果的具身行动决策。
- 包含一个托管在 Hugging Face 上的数据集，包含多个导航分割（例如：go_stanford, scand, sacson, recon）。
相关
- 项目
- 项目
- 项目
- Dispatch
- 项目