nicklashansen/dreamer4

解决的问题

本项目提供了 Dreamer 4 世界模型的非官方 PyTorch 实现，允许研究人员对用于预测环境动力学的可扩展架构进行实验和扩展。虽然原始论文侧重于 Minecraft 中的离散动作，但此实现针对多任务连续控制对模型进行了调整。

工作原理

Dreamer 4 利用分为两个主要组件的块因果 Transformer 架构：

1. Causal Tokenizer：对图像补丁和潜在 Token 进行编码，通过低维投影进行压缩，从而允许顺序解码帧。
2. Interactive Dynamics Model：在动作序列、噪声水平、步长和分词器表示上运行，使用快捷强制（shortcut forcing）目标函数来去除表示中的噪声。

适用对象

专为从事世界模型、强化学习和连续控制任务的 AI 研究人员和开发人员设计，特别是那些比起 JAX 更喜欢 PyTorch 的人。

亮点

• 多任务支持：在来自 DMControl 和 MMBench 的 30 个连续控制任务上进行了训练。
• 全面的数据集：包含 7,200 条专家和混合质量数据的轨迹（360 万帧）。
• 交互式界面：配备了基于 Web 的 UI，可实时与训练好的世界模型进行交互。
• 即插即用的检查点：通过 HuggingFace 提供预训练的分词器和动力学模型权重。