nicklashansen/dreamer4
Unofficial implementation of the Dreamer 4 world model in PyTorch.
해결하는 문제
이 프로젝트는 Dreamer 4 세계 모델의 비공식 PyTorch 구현을 제공하여, 연구자들이 환경 역학을 예측하기 위한 확장 가능한 아키텍처를 실험하고 확장할 수 있도록 합니다. 원본 논문은 Minecraft에서의 이산적 행동에 초점을 맞추었지만, 이 구현체는 여러 태스크에 걸친 연속 제어에 맞게 모델을 조정했습니다.
작동 원리
Dreamer 4는 두 가지 주요 구성 요소로 나뉜 블록 인과 트랜스포머 아키텍처를 활용합니다:
- Causal Tokenizer: 이미지 패치와 잠재 토큰을 인코딩하고 저차원 투영을 통해 압축하여 프레임을 순차적으로 디코딩할 수 있도록 합니다.
- Interactive Dynamics Model: 액션, 노이즈 수준, 스텝 크기 및 토크나이저 표현 시퀀상에서 작동하며, 숏컷 포싱(shortcut forcing) 목적 함수를 사용하여 표현의 노이즈를 제거합니다.
대상
세계 모델, 강화 학습 및 연속 제어 태스크를 연구하는 AI 연구자 및 개발자, 특히 JAX보다 PyTorch를 선호하는 분들을 위해 설계되었습니다.
주요 특징
- 멀티태스크 지원: DMControl 및 MMBench의 30개 연속 제어 태스크로 학습됨.
- 포괄적인 데이터셋: 전문가 및 혼합 품질 데이터의 7,200개 궤적(3.6M 프레임) 포함.
- 대화형 인터페이스: 학습된 세계 모델과 실시간으로 상호작용할 수 있는 웹 기반 UI 제공.
- 즉시 사용 가능한 체크포인트: HuggingFace를 통해 사전 학습된 토크나이저 및 역학 모델 가중치 제공.
관련
- 프로젝트
AMAP-ML/DreamX-WorldDreamX-World는 이벤트 프롬프트를 통해 사용자가 환경을 탐색하고 변형할 수 있는 고해상도이고 제어 가능한 시뮬레이션을 생성하는 일반 목적의 인터랙티브 월드 모델입니다.
- 프로젝트
next-state/open-dreamerOpen Dreamer는 JAX/Flax 기반의 Dreamer 4 세계 모델 파이프라인 구현으로, Minecraft 플레이 데이터에서 동영상 토크나이저와 행동 조건부 잠재 역학 모델의 학습 코드를 제공하며, 로울아웃 생성 및 FVD 평가 도구도 포함합니다. 라이브 브라우저 데모와 학습된 체크포인트를 실행할 수 있는 별도의 추론 리포지토리도 제공합니다.
- 프로젝트
sooftware/conformerCNN과 Transformer를 결합하여 국소적 및 전역적 오디오 의존성을 모두 포착함으로써 음성 인식을 향상시키는 Conformer 아키텍처의 PyTorch 구현체입니다.
- 프로젝트
johnmarktaylor91/torchlensTorchLens is a Python library for capturing, visualizing, and intervening on the full computational graph of any PyTorch model (and preview support for other frameworks). It records every activation and gradient, provides rich per‑operation metadata, lets you query or filter tensors, draw PDF graphs, compute receptive/projective fields, and replay or modify the graph for “what‑if” experiments. The tool is validated on >11 600 architectures, with ~89 % algorithmically verified for faithful capture.
- 프로젝트