nicklashansen/dreamer4
Unofficial implementation of the Dreamer 4 world model in PyTorch.
解決的問題
本專案提供了 Dreamer 4 世界模型的非官方 PyTorch 實作，允許研究人員對用於預測環境動力學的可擴展架構進行實驗與擴展。雖然原始論文側重於 Minecraft 中的離散動作，但此實作針對多任務連續控制對模型進行了調整。
工作原理
Dreamer 4 利用分為兩個主要組件的塊因果 Transformer 架構：
- Causal Tokenizer：對圖像補丁與潛在 Token 進行編碼，透過低維投影進行壓縮，從而允許順序解碼幀。
- Interactive Dynamics Model：在動作序列、雜訊水平、步長與分詞器表示上運行，使用快捷強制 (shortcut forcing) 目標函數來去除表示中的雜訊。
適用對象
專為從事世界模型、強化學習與連續控制任務的 AI 研究人員與開發人員設計，特別是那些比起 JAX 更喜歡 PyTorch 的人。
亮點
- 多任務支援：在來自 DMControl 與 MMBench 的 30 個連續控制任務上進行了訓練。
- 全面的數據集：包含 7,200 條專家與混合品質數據的軌跡（360 萬幀）。
- 互動式介面：配備了基於 Web 的 UI，可即時與訓練好的世界模型進行互動。
- 即插即用的檢查點：透過 HuggingFace 提供預訓練的分詞器與動力學模型權重。
相關
- 專案
- 專案
next-state/open-dreamerOpen Dreamer 是 JAX/Flax 實作的 Dreamer 4 世界模型管道，提供 Minecraft 遊戲玩法資料上視訊分詞器與動作條件的潛在動力學模型的訓練程式碼，以及滾動生成與 FVD 評估工具。包含一個瀏覽器內即時示範與一個獨立推理倉儲，可用於執行訓練好的檢查點。
- 專案
- 專案
johnmarktaylor91/torchlensTorchLens is a Python library for capturing, visualizing, and intervening on the full computational graph of any PyTorch model (and preview support for other frameworks). It records every activation and gradient, provides rich per‑operation metadata, lets you query or filter tensors, draw PDF graphs, compute receptive/projective fields, and replay or modify the graph for “what‑if” experiments. The tool is validated on >11 600 architectures, with ~89 % algorithmically verified for faithful capture.
- 專案