nicklashansen/dreamer4

Unofficial implementation of the Dreamer 4 world model in PyTorch.

해결하는 문제

이 프로젝트는 Dreamer 4 세계 모델의 비공식 PyTorch 구현을 제공하여, 연구자들이 환경 역학을 예측하기 위한 확장 가능한 아키텍처를 실험하고 확장할 수 있도록 합니다. 원본 논문은 Minecraft에서의 이산적 행동에 초점을 맞추었지만, 이 구현체는 여러 태스크에 걸친 연속 제어에 맞게 모델을 조정했습니다.

작동 원리

Dreamer 4는 두 가지 주요 구성 요소로 나뉜 블록 인과 트랜스포머 아키텍처를 활용합니다:

  1. Causal Tokenizer: 이미지 패치와 잠재 토큰을 인코딩하고 저차원 투영을 통해 압축하여 프레임을 순차적으로 디코딩할 수 있도록 합니다.
  2. Interactive Dynamics Model: 액션, 노이즈 수준, 스텝 크기 및 토크나이저 표현 시퀀상에서 작동하며, 숏컷 포싱(shortcut forcing) 목적 함수를 사용하여 표현의 노이즈를 제거합니다.

대상

세계 모델, 강화 학습 및 연속 제어 태스크를 연구하는 AI 연구자 및 개발자, 특히 JAX보다 PyTorch를 선호하는 분들을 위해 설계되었습니다.

주요 특징

  • 멀티태스크 지원: DMControl 및 MMBench의 30개 연속 제어 태스크로 학습됨.
  • 포괄적인 데이터셋: 전문가 및 혼합 품질 데이터의 7,200개 궤적(3.6M 프레임) 포함.
  • 대화형 인터페이스: 학습된 세계 모델과 실시간으로 상호작용할 수 있는 웹 기반 UI 제공.
  • 즉시 사용 가능한 체크포인트: HuggingFace를 통해 사전 학습된 토크나이저 및 역학 모델 가중치 제공.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트