UWMILab/UniWM

UniWM – 시각적 탐색을 위한 통합 세계 모델

무엇인가요

• ECCV 2026 논문과 함께 제공되는 연구용 코드베이스로, 에고세트리크 시각 탐색을 위한 메모리 증강형 세계 모델을 제안합니다. 이 모델은 시각적 전망(미래 프레임 예측)과 계획을 하나의 다중 모달 자동회귀 백본에서 통합합니다.

핵심 아이디어

• 통합 백본 – 모듈형 파이프라인과 달리, 동일한 트랜스포머 스타일 모델(Anole)이 미래 관측을 상상하고 행동을 결정합니다. 이로써 상상된 시각적 결과와 선택된 행동이 밀접하게 연결됩니다.
• 계층적 메모리 – 단기적 지각적 신호와 장기적 경로 컨텍스트를 함께 저장하여, 일관성을 잃지 않고 장기적인 수준에서 추론할 수 있습니다.
• 다중 모달 입력 – 에고세트리크 이미지 시퀀스와 각 단계의 메타데이터(행동, 자세)를 모델에 입력합니다. 출력은 다음 행동, 다음 프레임, 또는 둘 다일 수 있습니다.

데이터셋

• 저자들은 Hugging Face에 UniWM 데이터셋을 공개했습니다. 학습/평가용으로 여러 실내 탐색 스플릿(go_stanford, recon, sacson, scand)과 일반화 테스트를 위한 미관측 스플릿 tartandrive를 포함합니다. 각 경로 폴더에는 에고세트리크 JPEG 프레임과 행동 및 자세를 포함한 traj_data.pkl 파일이 있습니다.

시작하기

1. 환경 – Python 3.10을 사용하는 Conda 환경을 생성하고 bash install.sh를 실행합니다 (PyTorch, 종속성, Anole 코드 설치).
2. 데이터 – bash download_data.sh를 실행하여 모든 스플릿을 data/ 폴더에 다운로드합니다.
3. 학습 – 샘플 torchrun 명령어가 제공됩니다. 모델(anole), 데이터셋(콤마로 구분), 이미지 시퀀스 길이(예: 784 프레임), 기타 플래그를 지정합니다. 멀티 GPU 학습을 지원합니다.
4. 평가 – 세 가지 모드가 가능합니다:
   • single-step (1단계 예측)
   • task-level (전체 경로 평가, 선택적 메모리뱅크 추론)
   • rollout (전체 에피소드의 자기회귀 생성)

관련 연구

• 리포지토리는 저자들의 이전 프로젝트인 GOViG (시각 관측에서 LLM 기반 지시 생성)과 HA‑VLN (이산 및 연속 탐색을 혼합하고 사회적 인식 제약을 포함하는 벤치마크)를 참조합니다.

누가 사용할 수 있나요

• 계획 중 미래 시점을 상상해야 하는 몸체화된 에이전트를 개발하는 연구자.
• 탐색 작업을 위한 메모리 증강 트랜스포머를 실험하고 싶은 개발자.
• ECCV 2026 결과를 재현하기 위한 즉시 실행 가능한 데이터셋과 학습 스크립트를 찾는 사람.

라이선스 및 인용

• MIT 라이선스. 코드나 데이터셋을 사용할 경우 arXiv 논문(2510.08713)을 인용해 주세요.

---

모든 세부 정보는 리포지토리의 README에서 직접 가져옴.