THUSI-Lab/GameScaling

解決する課題

ピクセル情報から直接コンピュータゲームをプレイするようにAIを学習させること。難しいのは、視覚言語モデルをリアルタイムのゲームコントローラーに変えることです。ゲームごとに手書きのルールを作成することなく、画面上の情報を読み取り、何をすべきかを判断し、それを正確なキーボードおよびマウスのコマンドとして表現しなければなりません。GameScalingは、Qwen3.5言語モデルを実際のゲームプレイデータで事前学習させることで、視覚情報のみから反応する方法を学習させ、この課題に取り組んでいます。

仕組み

GameScalingは、現在のゲームフレーム（および過去のフレームと操作の短い履歴）を受け取り、次の200ミリ秒分の入力を返します。これは、33ミリ秒のキー操作6回分と、そのチャンク全体に対するマウスの移動およびスクロールで構成されます。モデルは1,600時間のキーボード・マウス操作によるゲームプレイで継続事前学習されています（トレーニングコードは含まれず、推論のみです）。システムプロンプトはモデルにゲーム名、ルール、キーバインドを伝えます。モデルは直接行動することも、行動前に短く「思考」することも可能です。

リポジトリには、推論クライアント（リクエストを構築し返信を解析するPythonクラス）、3つのプレースホルダーを持つ標準的なシステムプロンプトテンプレート、完全なDoomのサンプル、およびオフラインテストが含まれています。チェックポイントはvLLMで提供され、個別のHugging Faceリポジトリからダウンロードされます。0.8Bから27Bパラメータまでの8つのバリエーションがあり、それぞれ2つのトレーニング混合（S1：Minecraftのみ、S3：27% Minecraftとその他のゲーム）が用意されています。操作フォーマットは単一の文字列で、マウスのX/Y/スクロールの後にセミコロンで区切られた6つのキーグループが続きます。74キーの語彙はブラウザやUnreal Engineのキー名にマッピングされており、解析不能な返信は「何もしない（no-op）」として扱われます。

対象読者

画面を見てゲームをプレイするモデルを実行または研究したいゲームAI研究者やホビーユーザー。定義された操作フォーマットとキーマッピングのおかげで、キーボード・マウス環境を制御する必要があるエージェントを構築するすべての人にも役立ちます。トレーニングコードは含まれていないため、公開されたモデルを使用したい人向けです。システムプロンプトを新しいゲームに適応させ、キーマッピングを介してゲームに接続し、返された操作を実行してください。

ハイライト

• 0.8Bから27Bパラメータまでの8つの公開チェックポイント（bfloat16）。9Bまでは単一のGPUで動作し、27Bはテンソル並列処理を使用して2つのGPUを使用
• サイズごとに2つのトレーニング混合：S1（Minecraftのみ）とS3（27% Minecraft、残りは他のゲーム）、すべて1,600時間のゲームプレイを使用
• 3つのプレースホルダー（ゲーム名、ルール、キーバインド）を持つ単一の標準システムプロンプト。これらを埋めるだけで新しいゲームを試すことが可能
• 明確な操作フォーマット：200ミリ秒のチャンク = 33ミリ秒のキー操作6回 + マウスの移動とスクロール。連続するステップで押されたままのキーは、再押下されずに保持される
• 2つの推論モード：思考してから行動する（モデルが操作を出力する前に推論する可能性がある）と、行動のみ（推論部分は空）、どちらも正確なトレーニングフォーマットを維持
• 堅牢な解析：形式が不正または切り捨てられた返信は、クラッシュするのではなく明示的な「何もしない（no-op）」として処理される
• オフラインのユニットテストはGPUなしで実行可能。プロジェクトページとarXiv論文 (2610.28698) も存在
• コードはApache 2.0ライセンスで公開