THUSI-Lab/GameScaling

解决的问题

教会 AI 直接从像素中学习游玩电脑游戏。难点在于将视觉语言模型转化为实时游戏控制器：它必须读取屏幕内容、决定操作，并将其转化为精确的键盘和鼠标指令——且无需为每个游戏编写手动规则。GameScaling 通过在实际游戏数据上对 Qwen3.5 语言模型进行预训练，使其学会仅凭视觉进行反应，从而解决了这一问题。

工作原理

GameScaling 接收当前游戏帧（以及过去帧和操作的简短历史），并返回接下来 200 毫秒的输入：六个 33 毫秒的按键步骤，以及整个片段的一次鼠标移动和滚动。这些模型在 1600 小时的键盘鼠标游戏数据上进行了持续预训练——不包含训练代码，仅提供推理。系统提示词会告知模型游戏名称、规则和按键绑定；模型可以直接行动，也可以在行动前进行简短的“思考”。

该仓库提供了推理客户端（一个构建请求并解析回复的 Python 类）、包含三个占位符的标准系统提示词模板、一个完整的 Doom 示例以及离线测试。检查点通过 vLLM 提供服务，从独立的 Hugging Face 仓库下载——共有八种变体，参数量从 0.8B 到 27B，每种都有两种训练混合（S1：仅 Minecraft，S3：27% Minecraft 加其他游戏）。操作格式为单个字符串：鼠标 X/Y/滚动，后跟六组以分号分隔的按键；74 键词汇表映射到浏览器和 Unreal Engine 的按键名称，无法解析的回复将被视为无操作。

适用人群

希望运行或研究通过观察屏幕来玩游戏的模型的研究人员和游戏 AI 爱好者。由于其定义明确的操作格式和按键映射，它也适用于任何构建需要控制键盘鼠标环境的智能体的人。由于没有训练代码，该项目旨在供希望使用已发布模型的人员使用——只需将系统提示词适配到新游戏，通过按键映射将其连接到游戏，并执行返回的操作即可。

亮点

• 八个已发布的检查点，参数量从 0.8B 到 27B (bfloat16)；9B 及以下模型可在单 GPU 上运行，27B 使用两个 GPU 进行张量并行
• 每种尺寸有两种训练混合：S1（仅 Minecraft）和 S3（27% Minecraft，其余来自其他游戏），均使用 1600 小时的游戏数据
• 包含三个占位符（游戏名称、规则、按键绑定）的单一标准系统提示词——填充这些内容即可尝试新游戏
• 清晰的操作格式：一个 200 毫秒片段 = 六个 33 毫秒按键步骤 + 鼠标移动和滚动；连续步骤中按住的键保持按住状态，而不是重复按下
• 两种推理模式：先思考后行动（模型在输出操作前可能会进行推理）和仅行动（推理部分为空），两者均保持在完全相同的训练格式中
• 稳健的解析：格式错误或截断的回复会变成明确的无操作，而不是导致崩溃
• 离线单元测试无需 GPU 即可运行，项目还拥有项目页面和 arXiv 论文 (2610.28698)
• 代码基于 Apache 2.0 协议发布