SheepSeb/tinyworldformer

解决的问题

该项目旨在解决在 Raspberry Pi Pico 2 W 等资源极其受限的硬件上运行复杂交互式游戏模拟的挑战。它使设备能够“构想”出自己的游戏环境，并完全在芯片上学习如何游玩，而无需连接到功能强大的计算机。

工作原理

它使用两个在微控制器上运行的小型神经网络：“世界模型”和“行动者”。世界模型是一个微型的循环 Transformer，它根据当前帧和玩家的操作来预测下一帧和奖励。行动者是一个简单的多层网络，它观察世界模型生成的帧并决定采取什么行动。由于世界模型多次重复使用相同的 Transformer 权重（“循环”设计），它保持了足够小的体积以适应 Pico 的内存，同时仍能准确模拟物理和敌人移动等游戏机制。

适用人群

该项目适合对边缘 AI、轻量级机器学习以及微控制器上的强化学习感兴趣的开发者和研究人员。对于那些想要探索神经网络如何在嵌入式硬件严格的内存和处理限制内模拟环境并学习行为的人来说，它是理想的选择。

主要亮点

• 完全在 Raspberry Pi Pico 2 W 上使用 no_std Rust 运行。
• 具有使用 int8 量化以节省内存的循环 Transformer 世界模型。
• 包含一个流式强化学习智能体，可以直接在芯片上从零开始学习玩游戏。
• 支持多种经典风格游戏，如 Breakout、Pong、Flappy Bird、Doom-lite 和 Pac-Man。
• 允许用户随时控制游戏，有效地在模型的“梦境”中进行游玩。