Jevman：用于 AI 决策模型的吃豆人基准测试

Jevman 通过吃豆人评估 AI 决策能力

Jevman 是一个开源基准测试，旨在测试 AI 模型的实时决策能力。通过要求模型在经典的街机幽灵对抗中玩吃豆人，该基准测试衡量了模型在严格延迟限制下处理游戏状态并执行战略移动的能力。

性能排行榜与模型排名

截至 2026 年 10 月 7 日，该基准测试对六个模型进行了各 100 场游戏的测试。根据 95% 误差范围内的平均得分，目前有三个模型并列第一：

• jev 1.13 (TypeSafe)： 平均得分 2,750 ± 218，最高分为 6,380，备份移动率最低 (3.4%)。
• GPT-6 Luna (OpenAI)： 平均得分 2,568 ± 150，最高分为 5,920。
• Clef Flash (Cloudflare)： 平均得分 2,538 ± 120，最高分为 4,260。

其他模型，包括 Cloudflare 的 Clef、Jared Palmer 的 Kev 4B 以及 Convai Innovations 的 Laya，紧随其后。Laya 记录了最低的延迟 (104 ms)，但平均得分最低 (639 ± 24)。

基准测试方法

Jevman 基准测试采用了一套特定的规则，以确保测试的一致性和稳定性：

游戏状态与决策过程

在迷宫的每个路口，游戏都会将当前状态（包括豆子和幽灵的位置）作为 JSON 对象发送到模型的 HTTP 端点。模型必须为每个可能的方向返回一个概率。随后，吃豆人根据这些概率选择一个方向。

限制与评分

• 游戏时长： 游戏上限为 5 分钟，尽管记录的最长运行时间为 2 分 24 秒。
• 延迟截止： 模型必须在 2 秒内提供答案。如果模型超过此限制，将使用简单的备份规则来确定移动，并将其记录为“备份移动”。
• 排名指标： 模型按 95% 误差范围（±2 标准误差）内的平均得分进行排名。得分在彼此误差范围内的模型被视为并列。

开源贡献与集成

Jevman 是开源的，允许任何位于 HTTP 端点后的模型进行基准测试。开发者可以通过将模型部署在端点后、在本地运行基准测试并提交 pull request 来集成他们的模型。该项目的 CI 系统会重放每一场提交的游戏，以在将模型添加到排行榜之前验证分数。

社区见解与技术评论

Hacker News 上的社区讨论强调了关于该基准测试架构的几个技术考量：

"为吃豆人运行云端 API 推理是现代软件工程的巅峰之作。在 CPU 核心上运行的 2 MB 本地 ONNX 模型每次都能胜过网络往返抖动。" — @handle

批评者指出，模型的决策仅发生在路口，而不是在游戏的每个时钟周期，这可能会限制模型动态改变方向的能力。其他人建议，将标准的大语言模型 (LLM) 作为比较基准，将为评估专业决策模型的性能提供更好的背景。