UWMILab/UniWM

Official implementation of paper "Unified World Models: Memory-Augmented Planning and Foresight for Visual Navigation"

해결하는 문제

UniWM은 시각적 예측(어떤 일이 일어날지 상상하는 것)과 행동 계획 간의 일치를 해결합니다. 모듈형 프레임워크를 대체하여 로봇의 결정이 시각적으로 상상한 결과에 직접 기반하도록 보장합니다.

작동 방식

UniWM은 시각적 예측과 계획을 통합하기 위해 단일 다중 모달 자동 회귀 백본을 사용합니다. 단기적 지각 신호와 장기적 경로 컨텍스트를 결합하는 계층적 메모리 메커니즘을 활용하여, 장거리 탐색 범위에 걸쳐 안정적이고 일관된 추론을 유지할 수 있습니다.

대상 사용자

이 프로젝트는 몸을 가진 AI, 자율 탐색, 로봇용 월드 모델 연구 및 개발에 종사하는 연구자와 개발자를 위한 것입니다.

주요 특징

  • 통합된 예측과 계획을 위한 통합 다중 모달 자동 회귀 백본.
  • 단기적 및 장기적 컨텍스트를 균형 있게 조절하는 계층적 메모리 메커니즘.
  • 시각적으로 상상한 결과에 기반한 근거 있는 행동 결정.
  • Hugging Face에 호스팅된 데이터셋 포함 (예: go_stanford, scand, sacson, recon 등 여러 탐색 분할 포함).

관련

  • 프로젝트
    galilai-group/stable-worldmodel

    데이터 수집, 훈련, 모델 예측 제어 평가를 위한 통합 인터페이스를 제공하는 재현 가능한 세계 모델 연구 및 평가 플랫폼입니다.

  • 프로젝트
    OpenDCAI/OpenWorldLib

    고급 월드 모델을 위한 통합 코드베이스 및 프레임워크로, 비디오 생성, 3D 장면 생성 및 시각-동작 추론을 위한 다양한 오픈소스 연구를 통합합니다.

  • 프로젝트
    Ma-Zhuang/OmniNWM

    OmniNWM은 자율주행 시뮬레이션을 위한 파노라마형 다중 모달 월드 모델을 구축하는 연구용 코드베이스입니다. 차량의 경로에서 RGB, 세분화, 깊이, 3D 점유 맵을 동시에 생성하고, 정규화된 Plücker 레이 맵을 사용해 정밀한 제어를 수행하며, 점유 기반 밀도 보상을 통해 폐루프 정책 평가를 가능하게 합니다. 리포지토리에는 transformers 패치 포함 설치 절차, nuScenes 데이터 준비 안내, 사전 학습 체크포인트 다운로드 링크, 추론, 분포 외 테스트, 단계별 학습용 스크립트가 포함되어 있습니다.

  • Dispatch
    Qwen 로봇 스위트: 내비게이션, 조작 및 세계 모델링을 위한 통합 기반 모델

    Qwen은 Qwen‑Robot Suite를 소개했습니다—내비게이션, 조작 및 세계 예측 행동으로 언어를 변환하는 세 가지 기반 모델(RobotNav, RobotManip, RobotWorld)로, 수십 개의 구현체에 걸쳐 통합된 에이전트 로봇을 가능하게 합니다.

  • 프로젝트
    boundless-large-model/boundless-world-model

    BWM은 로봇 조작 작업을 위한 고정밀 시뮬레이터로 기능하는, 물리적으로 일관된 액션 조건부 동영상 월드 모델입니다.