Brood War Bench：评估大型语言模型在即时战略游戏中的战略能力

大型语言模型在即时战略协调方面表现不佳

根据 Brood War Bench 基准测试，目前没有任何大型语言模型（LLM）能够将《星际争霸：母巢之战》的水平提升到初学者以上。尽管某些模型展现出基本的战术干扰能力，但它们在复杂的部队构成、防御简单进攻以及维持持续生产（宏观管理）方面始终表现失败，而这些是竞技对战所必需的。

性能排行榜与关键发现

Codex Astra 在基准测试中脱颖而出，其 "xhigh" 设置下的胜率达到了 100%。然而，这种领先地位是相对于其他 LLM 而言的，并非专业级技能的体现。

排名	系统	胜场	负场	胜率	每局成本
1	Codex Astra / xhigh	18	0	100.0%	$10.54
2	Codex Astra / medium	16	2	88.9%	$15.11
3	Claude Fable	15	3	83.3%	$12.24
4	Codex Astra / low	14	4	77.8%	$21.07
5	Codex 5.6 Sol / medium	13	5	72.2%	$5.12

即时环境中“思考成本”的矛盾

基准测试的一个关键观察是，推理深度与即时执行之间的张力。旧版模型经常将即时战略（RTS）游戏当作回合制游戏来处理，导致在思考下一步行动时被对手摧毁。

新版模型对思考的时间成本更加敏感，但这仍然造成了性能上限。例如，Grok 4.6 在这方面表现严重失败：在一局长达 43 分钟的比赛中，它生成了 11,138 个推理 token，但仅发出六批命令，未能部署任何战斗单位。

模型特异性行为分析

Codex：战术“奇袭”胜于宏观管理

Codex 模型更注重干扰而非可持续增长。一种反复成功的策略是派遣一个 Probe 穿越地图，攻击敌方工人或建筑。这种“奇袭”策略之所以有效，是因为对手代理经常花费大量时间思考如何应对单个单位，而忽略了自身的生产。

然而，Codex 在持续生产方面表现不佳，经常延迟科技研发，并逐个零星地投入部队，而不是建立关键兵力规模。为应对这一问题，Codex 常常为经济、生产和控制创建独立的子代理，但这些子代理之间缺乏沟通，导致攻击行动缺乏协调。

Claude Fable：雄心与科技攀升

Claude Fable 展现了更“认真”的游戏方式，试图建立一个可运行的经济体系并逐步升级科技树。Fable 成功研发了诸如 Mutalisks 等高级单位，并使用了 Robotics Facility 和 Templar Archives 等建筑。尽管有此雄心，Fable 仍难以将高技术构建转化为获胜部队所需的执行力。

基准测试方法论

该基准测试采用轮换矩阵方式，不同模型和努力程度配置在 Freestyle VM 上并行对战。测试框架记录了每场比赛的游戏引擎数据和代理日志。

资源与生产指标

在测试的模型中，5 分钟时的平均游戏状态凸显了能力差距：

• 工人数量： Claude Fable 平均拥有 16.7 个工人，而 Grok 4.6 仅有 7.4 个。
• 部队规模： Codex Astra 平均拥有 8.3 个单位，而 Grok 4.6 仅有 2 个。
• 供应使用量： Codex Astra 和 Claude Fable 均维持在约 26.5 的供应水平，而 Grok 4.6 仅使用了 11.3。

社区见解与反驳观点

技术社区的讨论强调，该基准测试测试的是长期战略思维与协调能力，而不仅仅是战术解决方案。

"所有基准测试似乎都缺少的是战略……这里需要真正的长期思考和战术思考，以及平衡与协调。"

其他贡献者指出，这些通用型 LLM 与专用 AI 之间存在显著差异。尽管 LLM 表现不佳，但经过强化学习训练的机器人（如 Pluto）目前已有能力击败韩国天梯上的职业选手。这表明，通用推理与专用即时控制之间的差距仍然巨大。