fhshaik/typesafe-mario

解決する課題

TypeSafe Marioは、AIモデル（Jev）がNESでスーパーマリオブラザーズをプレイできるようにする実験的なコントローラーです。従来の人間の入力を、視覚的なスクリーンショットではなくゲーム状態データに基づくモデル駆動の決定に置き換えます。

仕組み

システムは、エミュレータのテレメトリとRAMを解析して、構造化されたオブジェクト中心のJSONオブジェクトを作成するハーネスを使用します。このJSONには、マリオの動き、ジャンプ軌道、敵の位置、地形のジオメトリに関するデータが含まれます。AIモデルはこの構造化データを受け取り、事前定義されたコントローラーマクロ（right_run_jumpやjumpなど）のいずれかを選択します。その後、エミュレータは数フレーム進み、モデルが次の決定を行います。

対象読者

ゲームAI、エミュレータテレメトリ解析、および意思決定のためのモデル入力としての構造化データの使用に興味がある開発者とAI研究者。

ハイライト

• 構造化入力：生のピクセルではなくJSONを使用し、「危険スコア」や「ジャンプ期限」などの高レベルな概念をモデルに提供します。
• テレメトリ解析：生のNES RAMを意味のあるゲーム状態オブジェクト（プレイヤー、危険、地形、エピソード進行）に変換します。
• リアルタイムダッシュボード：アクション確率、信頼度、モデル遅延を表示する視覚化ツールが含まれています。
• 決定ログ：すべての決定と関連するゲーム状態をJSONLファイルに記録し、後で分析したりソーシャルクリップに使用したりできます。