nicklashansen/dreamer4

解決する課題

このプロジェクトは、Dreamer 4世界モデルの非公式なPyTorch実装を提供し、研究者が環境のダイナミクスを予測するためのスケーラブルなアーキテクチャを実験・拡張できるようにします。元の論文はMinecraftにおける離散的なアクションに焦点を当てていましたが、この実装では、複数のタスクにわたる連続制御用にモデルを適応させています。

仕組み

Dreamer 4は、主に2つのコンポーネントに分割されたブロック因果トランスフォーマーアーキテクチャを利用しています：

1. Causal Tokenizer: 画像パッチと潜在トークンをエンコードし、低次元の投影を通じて圧縮することで、フレームを逐次的にデコードできるようにします。
2. Interactive Dynamics Model: アクション、ノイズレベル、ステップサイズ、およびトークナイザーの表現のシーケンス上で動作し、ショートカット強制目的関数を使用して表現のノイズを除去します。

対象者

世界モデル、強化学習、および連続制御タスクに取り組んでいるAI研究者や開発者、特にJAXよりもPyTorchを好む方向けに設計されています。

ハイライト

• マルチタスク対応: DMControlとMMBenchの30の連続制御タスクでトレーニング済み。
• 包括的なデータセット: エキスパートデータおよび混合品質データの7,200の軌跡（360万フレーム）を含む。
• インタラクティブなインターフェース: トレーニングされた世界モデルとリアルタイムで対話するためのウェブベースのUIを提供。
• すぐに使えるチェックポイント: HuggingFace経由で、事前トレーニング済みのトークナイザーとダイナミクスモデルの重きを提供。