nicklashansen/dreamer4
Unofficial implementation of the Dreamer 4 world model in PyTorch.
解决的问题
本项目提供了 Dreamer 4 世界模型的非官方 PyTorch 实现，允许研究人员对用于预测环境动力学的可扩展架构进行实验和扩展。虽然原始论文侧重于 Minecraft 中的离散动作，但此实现针对多任务连续控制对模型进行了调整。
工作原理
Dreamer 4 利用分为两个主要组件的块因果 Transformer 架构：
- Causal Tokenizer：对图像补丁和潜在 Token 进行编码，通过低维投影进行压缩，从而允许顺序解码帧。
- Interactive Dynamics Model：在动作序列、噪声水平、步长和分词器表示上运行，使用快捷强制（shortcut forcing）目标函数来去除表示中的噪声。
适用对象
专为从事世界模型、强化学习和连续控制任务的 AI 研究人员和开发人员设计，特别是那些比起 JAX 更喜欢 PyTorch 的人。
亮点
- 多任务支持：在来自 DMControl 和 MMBench 的 30 个连续控制任务上进行了训练。
- 全面的数据集：包含 7,200 条专家和混合质量数据的轨迹（360 万帧）。
- 交互式界面：配备了基于 Web 的 UI，可实时与训练好的世界模型进行交互。
- 即插即用的检查点：通过 HuggingFace 提供预训练的分词器和动力学模型权重。
相关
- 项目
- 项目
next-state/open-dreamerOpen Dreamer 是 JAX/Flax 实现的 Dreamer 4 世界模型管道，提供 Minecraft 游戏玩法数据上视频分词器和动作条件的潜在动力学模型的训练代码，以及滚动生成和 FVD 评估工具。包含一个浏览器内实时演示和一个用于运行训练检查点的独立推理仓库。
- 项目
- 项目
johnmarktaylor91/torchlensTorchLens is a Python library for capturing, visualizing, and intervening on the full computational graph of any PyTorch model (and preview support for other frameworks). It records every activation and gradient, provides rich per‑operation metadata, lets you query or filter tensors, draw PDF graphs, compute receptive/projective fields, and replay or modify the graph for “what‑if” experiments. The tool is validated on >11 600 architectures, with ~89 % algorithmically verified for faithful capture.
- 项目