StarSkirmish Bench v0.2：GPT-6 Astra 在 LLM 星际争霸机器人基准测试中位居榜首

StarSkirmish Bench v0.2 根据九个前沿 LLM 在一小时墙钟时间内能编写出的星际争霸：母巢之战机器人的强度进行排名，GPT-6 Astra 以 57 分（满分 100 分）获胜。头条结果不是某个模型领先，而是最好的模型仍然只在 7% 的比赛中击败最强的人类编写的机器人——该基准测试没有显示出饱和的迹象。

StarSkirmish Bench v0.2 衡量什么

StarSkirmish 是一个 LLM 为星际争霸：母巢之战编写机器人的基准测试。每个 LLM 有一小时时间用 C++ 编写一个神族机器人，然后与其他 LLM 的机器人和已建立的人类编写的机器人进行对抗评估。该基准测试测试长程推理和代理编码，因为模型必须从练习游戏中吸收经验，以便在一小时内改进其机器人。

v0.2 使用来自 OpenAI、Anthropic、Google 和 Meta 的旗舰模型更新了 StarSkirmish Bench v0.1，每个模型都在其实验室的第一方 CLI 环境中运行。LLM 的分数反映了它对抗一组有竞争力的人类编写的机器人和演示机器人的胜率。

排行榜：GPT-6 Astra 领先，Gemini 4 Argon 和 Claude Opus 5.5 并列

分数是每个模型 5 次运行的平均胜率（0-100），对抗一组有竞争力的人类编写的机器人，来自每个实验室第一方 CLI 环境的一小时运行。

模型	StarSkirmish Bench v0.2 分数
GPT-6 Astra	57
GPT-6.1 Sol	46
Gemini 4 Argon	39
Claude Opus 5.5	39
Claude Fable 5.1	37
Claude Sonnet 5.5	26
Muse Wonder Full	21
Claude Haiku 5.5	21
GPT-6 Luna	13

GPT-6 Astra 是 StarSkirmish Bench v0.2 中得分最高的模型，明显领先于第二名的 GPT-6.1 Sol。Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1 紧随其后，分数在 37 到 39 之间，实际上并列。

关于推理努力的一个注意事项：Gemini 4 Argon 以 high 运行，这是它可用的最高推理努力，而其他所有模型都以 max 运行。

成本：GPT-6.1 Sol 提供每次运行的最佳价值

将 StarSkirmish Bench 分数与一次一小时运行的平均 API 成本（成本按对数刻度）绘制成图，GPT-6.1 Sol 位于最具吸引力的象限。GPT-6.1 Sol 是该象限中唯一的 LLM，得分第二，每次运行成本仅为 GPT-6 Astra 的十分之一多一点。Muse Wonder Full 的定价基于 Muse Wonder 的 API 定价。

没有饱和迹象：人类编写的机器人仍然占主导地位

最强的人类编写的机器人仍然远远领先于所有模型。对抗 Stardust、PurpleWave 和 BananaBrain，最好的模型 GPT-6 Astra 只赢得 7% 的比赛。

每个模型的 5 个机器人对抗顶级人类编写的机器人 Stardust、PurpleWave 和 BananaBrain 的平均胜率：

GPT-6 Astra: 7
GPT-6.1 Sol: 4
Gemini 4 Argon: 2
Claude Opus 5.5: 2
Claude Fable 5.1: 2
Claude Sonnet 5.5: <1
Muse Wonder Full: <1
Claude Haiku 5.5: <1
GPT-6 Luna: 0

一小时的推理限制是一个因素，但这些比赛是在三张双人地图上进行的。真正的人类编写的机器人锦标赛条件要困难得多。

Gemini 4 Argon：一次性编码、金甲虫和时机攻击

Gemini 4 Argon 在 v0.2 中排名第三，取代了 v0.1 的 Gemini 3.8 Flash。它的独特行为是它特别倾向于通过一次性方式编写机器人：它的五次运行在所有跟踪的运行中构建和代码版本最少。

Gemini 4 Argon 的 41% 的练习赛是对抗高级对手，仅次于 GPT-6 Astra，但它的机器人对抗这些级别的胜率仅为 7%，而 Astra 为 28%。它平均每场游戏进行 2.5 次升级，是该领域最多的。

Gemini 4 Argon 最喜欢的策略是时机攻击——龙骑士和狂热者留在家里，在炮台后面，进行一次大规模推进。它最喜欢的单位是金甲虫，其第二好的机器人在超过 70% 的比赛中建造金甲虫。在一个录制的片段中，Argon 的一次大规模推进在 192 人口时遇到了同等规模的军队，心灵风暴赢得了交换。

Muse Wonder Full：狂热者海和大量观察者使用

Muse Wonder Full 在 v0.2 中排名第七，取代了 v0.1 的 Muse Spark 1.3。它最喜欢的策略是宏观：快速扩张到 5 到 9 个传送门，只有在数量超过所见军队时才进攻。它每场游戏建造 3 个观察者，是所有模型中最多的，是平均水平的 1.6 倍，以及每场游戏 22 个狂热者——与 v0.1 一样，一支以狂热者为主的军队。在一个片段中，Muse 的狂热者海冲垮了一支龙骑士军队。

Muse Wonder Full 也是很少或从不与名单上最强机器人练习的模型之一。

分数的最强预测因子是与强机器人练习

每次运行的代理轨迹记录了模型如何度过其小时，而模型分数的最强预测因子是它与名单上 7 个最强机器人练习了多少。GPT-6 Astra、GPT-6.1 Sol 和 Gemini 4 Argon 在一小时早期就开始与这些机器人对战，而它们自己的机器人仍然输给它们。Muse Wonder Full、Claude Haiku 5.5 和 GPT-6 Luna 很少或从不这样做。

Claude Fable 5.1 是异常值：它得分 37，而几乎完全与较弱的机器人练习。

运行间方差很大，尤其是 Gemini 4 Argon

同一模型的运行之间胜率有所不同。每个模型的 5 次运行产生一个分布，平均值等于模型的 Bench 分数：

模型	分数	σ
GPT-6 Astra	57	3.4
GPT-6.1 Sol	46	6.0
Gemini 4 Argon	39	7.0
Claude Opus 5.5	39	3.2
Claude Fable 5.1	37	2.9
Claude Sonnet 5.5	26	8.4
Muse Wonder Full	21	3.0
Claude Haiku 5.5	21	6.1
GPT-6 Luna	13	5.6

Gemini 4 Argon 的方差远大于其他实验室的旗舰模型：其最佳和最差运行相差 18 分，而 GPT-6 Astra 为 9 分，Claude Opus 5.5 为 8 分。

基准测试如何运作：目标、工具和锦标赛设置

目标

每个 LLM 用 C++ 编写一个神族机器人，针对 BWAPI 4.4.0，在 OpenBW 上运行。游戏是神族对神族，在三张天梯地图上进行：Heartbreak Ridge、Benzene 和 Destination。当一方的所有建筑被摧毁时游戏结束。达到 60 分钟上限（86,400 帧）的游戏按照 BASIL 天梯规则判定：击杀和拆除分数较高者获胜。

LLM 从一个只采矿的骨架机器人开始，附带三个演示机器人的源代码和两个标准机器人库：FAP（战斗模拟器）和 BWEM（地图分析器）。当小时结束时，其机器人文件夹中的任何内容都是其最终机器人，因此它必须保持机器人可编译。

LLM 有工具来编译其机器人、玩练习游戏，并阅读每个游戏的摘要、转录和其机器人自己的日志。练习对手分为几个级别：D（三个演示机器人）、C 和 B（各三个中等级别的人类编写的机器人）、A（BananaBrain、Locutus）和 S（Stardust、PurpleWave）。

锦标赛设置

v0.2 锦标赛运行了 45 个 LLM 机器人对抗 13 个对手，共 10,530 场比赛，每对 18 场。每个模型的 5 个最终机器人分别与 13 个名单机器人（10 个有竞争力的人类编写的机器人和 3 个演示机器人）在每张地图上对战 6 次，使用新的种子。与 v0.1 不同，LLM 机器人之间不互相比赛。

环境和推理努力

StarSkirmish Bench v0.1 在相同的第三方中立环境中以 high 推理运行所有模型。v0.2 在每个模型所在实验室的第一方 CLI 环境中以其提供的最高推理设置运行：

Anthropic（Claude 模型）：Claude Code，版本 2.1.296
OpenAI（GPT 模型）：Codex，版本 0.162.1
Google（Gemini 模型）：Antigravity CLI，版本 1.3.5
Meta（Muse 模型）：Muse Code，版本 1.4.7

每个 v0.2 环境在大约 250k 令牌处压缩模型的上下文。当对话接近该点时，CLI 会压缩它，模型继续。例如，Codex 给 GPT 模型默认的 272k 令牌窗口，并在 90% 满时触发压缩。

CLI 的网页搜索和网页获取工具已关闭，代理没有其他互联网访问。CLI 在时钟开始前安装，小时从代理开始计时。没有提交工具：环境在时间耗尽时收集机器人。

评分

v0.2 用简单的胜率取代了 v0.1 的 Elo 评级。机器人的分数是其在 234 场锦标赛游戏中的胜率，模型的 StarSkirmish Bench 分数是其 5 个机器人分数的平均值，从 0（每场都输）到 100（每场都赢）。

由于每个机器人玩相同的固定名单，其游戏不依赖于其他 LLM 机器人。它们都并行运行，新模型的机器人可以在不重播其他人的情况下评分。固定名单也保持标准随时间不变，因此不同模型代的分数比在单个领域内拟合的 Elo 评级更具可比性。

讨论：基准测试实际衡量什么

关于 StarSkirmish Bench v0.2 的 Hacker News 线程（150 分，69 条评论）较少关注排行榜，而更多关注基准测试是否隔离了一种有意义的能力。

一个反复出现的反对意见是分数混淆了多种技能。一位评论者写道：

我不确定我是否喜欢这个基准测试，但主要是因为我不确定它真正评估什么……多种因素似乎使它所应该关注的内容复杂化（仅举几例）：代码生成速度、逻辑分析、对游戏平台的理解以及使用 C 可能如何影响它、考虑的方法、战术和策略。

另一位要求定性分析而不是胜率：

从代理编写的机器人中有什么有趣的东西可以学习吗？还是它们只是最佳机器人的劣质版本，因为时间限制太短？是否有任何迹象表明它们是在人类编写的机器人的代码上训练的……机器人在多大程度上每次都应用相同的技术？

一个相关的担忧是预训练污染，因为星际争霸机器人代码是公开的。一位评论者指出，人类编写的机器人仍然获胜，这是反对琐碎记忆的证据，但不是完整的解释。另一位将基准测试框定为“他们能在多大程度上改进那些公开解决方案的版本”。

几位评论者提出了变体。一位建议对 Pluto 进行基准测试，描述为一个神经网络机器人，可以击败最好的母巢之战玩家。其他人问如果代理直接玩星际争霸而不是编写机器人会发生什么——指向 broodbench.com，一个 LLM 直接玩星际争霸的独立项目。一位评论者想要相反的实验：“每个模型需要多长时间才能对各种级别的机器人达到 >50% 的胜率。”另一位问最好的人类玩家会如何对抗 LLM 编写的机器人，还有一位问为什么基准测试使用神族。

最受好评的技术观点是关于环境效应。引用基准测试自己对第一方 CLI 和禁用网络访问的描述，一位评论者写道：

我们正在学习的一件事是环境非常重要。同一底层模型的性能差异可能因以下因素而显著变化：1. 环境 2. 允许的工具（没有网络搜索/获取 - 模型如何参考文档？）3. 思考级别

一个不同的数据点来自一位在 ModernUO 服务器上运行机器人的开发者，他报告了相反的顺序：

我一直在用机器人填充一个 ModernUO 服务器，发现 Opus 5.5 在理解和构建它方面要好得多。我实际上从 6.1 Sol 和 6 Astra 开始，但在进展甚微一周后撤下了它们，让 Opus 5.5 接管，它在一夜之间正确地重建了一切，并一直推进到现在。

一位评论者指出，StarSkirmish Bench v0.2 中的相对顺序（GPT-6 Astra > GPT-6.1 Sol > Gemini 4 Argon > Claude Opus 5.5 > Claude Fable 5.1 > Claude Sonnet 5.5）与一个独立的 9x9 围棋基准测试的顺序匹配，该基准测试使用 KataGo 对手作为 Elo 锚点，尽管这两个基准测试测试不同的问题。

较小的批评包括：成本图的“帕累托曲线”不是真正的帕累托曲线，因为 Claude Haiku 5.5 位于其内部而不是其上；一个关于视频片段是否显示了一个未出现在任何图表中的 GLM 模型的问题；以及一个笑话，即基准测试省略了每分钟操作数，“显然是性能的最佳指标”。评论者还指出了 aiarena.net 用于星际争霸 II 机器人竞赛，并建议将格式扩展到星际争霸 II、红色警戒 2、反恐精英和城市：天际线。