UWMILab/UniWM
Official implementation of paper "Unified World Models: Memory-Augmented Planning and Foresight for Visual Navigation"
解決的問題
UniWM 解決了視覺預測（想像即將發生的事）與視覺導航中行動規劃之間對齊的挑戰。它以統一的方法取代模組化框架，確保機器人的決策直接基於其視覺想像的結果。
工作原理
UniWM 使用單一的多模態自回歸骨幹網路來整合視覺預測與規劃。它採用分層記憶機制，結合短期感知線索與長期軌跡上下文，使模型能在較長的導航範圍內保持穩定且連貫的推理。
適用對象
本專案專為從事具身人工智慧、自主導航以及機器人世界模型的研究人員與開發者設計。
主要亮點
- 統一的多模態自回歸骨幹網路，實現預測與規劃的整合。
- 分層記憶機制，平衡短期與長期上下文。
- 基於視覺想像結果的具身行動決策。
- 包含一個托管在 Hugging Face 上的資料集，包含多個導航分割（例如：go_stanford, scand, sacson, recon）。
相關
- 專案
- 專案
- 專案
- Dispatch
- 專案