SheepSeb/tinyworldformer

해결 과제

이 프로젝트는 Raspberry Pi Pico 2 W와 같이 리소스가 극도로 제한된 하드웨어에서 복잡하고 상호작용적인 게임 시뮬레이션을 실행하는 문제를 해결합니다. 강력한 컴퓨터에 연결할 필요 없이 장치가 스스로 게임 환경을 '꿈꾸고' 완전히 칩 내부에서 플레이하는 법을 학습할 수 있게 합니다.

작동 원리

마이크로컨트롤러에서 실행되는 두 개의 작은 신경망인 '세계 모델'과 '액터'를 사용합니다. 세계 모델은 현재 프레임과 플레이어의 행동을 기반으로 다음 프레임과 보상을 예측하는 소형 루프형 트랜스포머입니다. 액터는 세계 모델이 생성한 프레임을 관찰하고 어떤 행동을 취할지 결정하는 간단한 다층 네트워크입니다. 세계 모델은 동일한 트랜스포머 가중치를 여러 번 재사용하는 '루프' 설계를 사용하므로, Pico의 메모리에 들어갈 만큼 작게 유지되면서도 물리 법칙이나 적의 움직임과 같은 게임 메커니즘을 정확하게 시뮬레이션할 수 있습니다.

대상 사용자

이 프로젝트는 엣지 AI, 경량 머신러닝, 마이크로컨트롤러 기반 강화 학습에 관심이 있는 개발자와 연구자를 위한 것입니다. 임베디드 하드웨어의 엄격한 메모리 및 처리 제한 내에서 신경망이 어떻게 환경을 시뮬레이션하고 행동을 학습할 수 있는지 실험하려는 분들에게 이상적입니다.

주요 특징

• no_std Rust를 사용하여 Raspberry Pi Pico 2 W에서 완전히 실행됩니다.
• 메모리 절약을 위해 int8 양자화를 사용하는 루프형 트랜스포머 세계 모델을 특징으로 합니다.
• 칩에서 직접 처음부터 게임을 학습할 수 있는 스트리밍 강화 학습 에이전트가 포함되어 있습니다.
• Breakout, Pong, Flappy Bird, Doom-lite, Pac-Man과 같은 여러 고전 스타일 게임을 지원합니다.
• 사용자가 언제든지 게임을 제어할 수 있어 모델의 '꿈' 속에서 실제로 플레이할 수 있습니다.