SheepSeb/tinyworldformer

解決する課題

このプロジェクトは、Raspberry Pi Pico 2 W のようなリソースが極めて限られたハードウェア上で、複雑でインタラクティブなゲームシミュレーションを実行するという課題に取り組んでいます。強力なコンピュータに接続することなく、デバイスが独自のゲーム環境を「夢想」し、完全にチップ上でプレイ方法を学習できるようにします。

仕組み

マイクロコントローラー上で動作する2つの小さなニューラルネットワーク、「世界モデル」と「アクター」を使用します。世界モデルは、現在のフレームとプレイヤーの行動に基づいて次のフレームと報酬を予測する、小型のループ型トランスフォーマーです。アクターは、世界モデルによって生成されたフレームを観察し、どの行動をとるかを決定する単純な多層ネットワークです。世界モデルは同じトランスフォーマーの重みを複数回再利用する（「ループ」設計）ため、Pico のメモリに収まるほど小さく保たれながら、物理演算や敵の動きといったゲームメカニクスを正確にシミュレートできます。

対象読者

このプロジェクトは、エッジAI、軽量機械学習、およびマイクロコントローラーでの強化学習に関心のある開発者や研究者を対象としています。組み込みハードウェアの厳しいメモリと処理の制限内で、ニューラルネットワークがどのように環境をシミュレートし、行動を学習できるかを実験したい方に最適です。

ハイライト

• Raspberry Pi Pico 2 W 上で no_std Rust を使用して完全に動作します。
• メモリを節約するために int8 量子化を使用したループ型トランスフォーマー世界モデルを搭載しています。
• チップ上で直接ゼロからゲームを学習できるストリーミング強化学習エージェントが含まれています。
• Breakout、Pong、Flappy Bird、Doom-lite、Pac-Man といった複数のクラシックなスタイルのゲームをサポートしています。
• ユーザーはいつでもゲームの操作を引き継ぐことができ、モデルの「夢」の中で実際にプレイすることが可能です。