StarSkirmish Bench v0.2: GPT-6 AstraがLLM StarCraftボットベンチマークで首位に

StarSkirmish Bench v0.2は、9つの最先端LLMが1時間の実時間でそれぞれが書けるStarCraft: Brood Warボットの強さをランク付けし、GPT-6 Astraが100点満点中57点で勝利しました。注目すべき結果は、あるモデルがリードしていることではなく、最良のモデルでも最強の人間作成ボットに対してわずか7%のゲームでしか勝てないことです。ベンチマークは飽和の兆候をまったく示していません。

StarSkirmish Bench v0.2が測定するもの

StarSkirmishは、LLMがStarCraft: Brood War用のボットを書くベンチマークです。各LLMは1時間でC++のProtossボットを書くことができ、その後、他のLLMのボットや確立された人間作成ボットと対戦して評価されます。このベンチマークは、モデルが練習ゲームから学んだことを取り入れて1時間以内にボットを改善する必要があるため、長期的な推論とエージェント的コーディングをテストします。

v0.2は、OpenAI、Anthropic、Google、Metaの旗艦モデルを、各ラボのファーストパーティCLIハーネスで実行してStarSkirmish Bench v0.1を更新します。LLMのスコアは、競争力のある人間作成ボットとデモボットの名簿に対する勝率を反映します。

リーダーボード: GPT-6 Astraがリード、Gemini 4 ArgonとClaude Opus 5.5が同点

スコアは、各ラボのファーストパーティCLIハーネスでの1時間の実行から、競争力のある人間作成ボットの名簿に対する各モデルの5回の実行の平均勝率（0〜100）です。

モデル	StarSkirmish Bench v0.2スコア
GPT-6 Astra	57
GPT-6.1 Sol	46
Gemini 4 Argon	39
Claude Opus 5.5	39
Claude Fable 5.1	37
Claude Sonnet 5.5	26
Muse Wonder Full	21
Claude Haiku 5.5	21
GPT-6 Luna	13

GPT-6 AstraはStarSkirmish Bench v0.2で最高スコアのモデルであり、2位のGPT-6.1 Solを明確にリードしています。Gemini 4 Argon、Claude Opus 5.5、Claude Fable 5.1は、その背後で実質的に同点であり、すべて37から39の間でスコアを獲得しています。

推論努力に関する1つの注意点: Gemini 4 Argonは利用可能な最高の推論努力であるhighで実行されますが、他のすべてのモデルはmaxで実行されます。

コスト: GPT-6.1 Solが実行あたりの最良の価値を提供

StarSkirmish Benchスコアを1時間の実行の平均APIコスト（対数スケールのコスト）に対してプロットすると、GPT-6.1 Solが最も魅力的な象限に位置します。GPT-6.1 Solはその象限で唯一のLLMであり、GPT-6 Astraの実行あたりのコストの約10分の1で2位のスコアを獲得しています。Muse Wonder Fullの価格設定はMuse WonderのAPI価格に基づいています。

飽和の兆候なし: 人間作成ボットが依然として優勢

最強の人間作成ボットは依然としてすべてのモデルを大きく上回っています。Stardust、PurpleWave、BananaBrainに対して、最良のモデルであるGPT-6 Astraはゲームのわずか7%しか勝てません。

トップの人間作成ボットStardust、PurpleWave、BananaBrainに対する各モデルの5つのボットの平均勝率:

GPT-6 Astra: 7
GPT-6.1 Sol: 4
Gemini 4 Argon: 2
Claude Opus 5.5: 2
Claude Fable 5.1: 2
Claude Sonnet 5.5: <1
Muse Wonder Full: <1
Claude Haiku 5.5: <1
GPT-6 Luna: 0

1時間の推論制限は要因ですが、これらの対戦は3つの2人用マップで行われます。実際の人間作成ボットトーナメントの条件は大幅に困難です。

Gemini 4 Argon: ワンショットコーディング、リーバー、タイミング攻撃

Gemini 4 Argonはv0.2で3位になり、v0.1のGemini 3.8 Flashに取って代わりました。その特徴的な動作は、ワンショットでボットを書くことを独自に好んだことです。その5回の実行は、トレースされたすべての実行の中で最も少ないビルドとコードバージョンでした。

Gemini 4 Argonの練習ゲームの41%は高層の対戦相手との対戦であり、GPT-6 Astraに次いで2番目に多いですが、そのボットはそれらの層に対してゲームのわずか7%しか勝てず、Astraの28%と比較されます。ゲームあたり平均2.5回のアップグレードで、フィールドで最も多いです。

Gemini 4 Argonのお気に入りの戦略はタイミング攻撃です。ドラグーンとゼアロットをキャノンの後ろに留めて、1回の大きな攻撃を行います。お気に入りのユニットはリーバーであり、2番目に良いボットはゲームの70%以上でリーバーを生産します。記録されたクリップの1つでは、Argonの1回の大きな攻撃が192サプライで同等の軍と遭遇し、サイオニックストームがトレードを制しました。

Muse Wonder Full: ゼアロットの波と重いオブザーバー使用

Muse Wonder Fullはv0.2で7位になり、v0.1のMuse Spark 1.3に取って代わりました。お気に入りの戦略はマクロです。5から9のゲートウェイへの高速拡張で、見た軍を数で上回った場合にのみ攻撃します。ゲームあたり3体のオブザーバーを生産し、これはどのモデルよりも多く、フィールドの1.6倍であり、ゲームあたり22体のゼアロットを生産します。v0.1と同様に、ゼアロット中心の軍です。あるクリップでは、Museのゼアロットの波がドラグーン軍を追い詰めます。

Muse Wonder Fullはまた、名簿上の最強のボットに対してめったにまたはまったく練習しないモデルの1つです。

スコアの最強の予測因子は強いボットとの練習

各実行のエージェントトレースは、モデルが1時間をどのように過ごしたかを記録し、モデルのスコアの最強の予測因子は、名簿上の7つの最強のボットに対してどれだけ練習したかです。GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argonは、自分のボットがまだ彼らに負けている間でも、1時間の早い段階でこれらのボットと対戦し始めます。Muse Wonder Full、Claude Haiku 5.5、GPT-6 Lunaはめったにまたはまったくそうしません。

Claude Fable 5.1は外れ値です。弱いボットに対してほぼ完全に練習しながら37をスコアします。

実行間のばらつきは大きく、特にGemini 4 Argonで顕著

同じモデルの実行間で勝率は異なります。各モデルの5回の実行はばらつきを生み出し、平均はモデルのBenchスコアに等しくなります:

モデル	スコア	σ
GPT-6 Astra	57	3.4
GPT-6.1 Sol	46	6.0
Gemini 4 Argon	39	7.0
Claude Opus 5.5	39	3.2
Claude Fable 5.1	37	2.9
Claude Sonnet 5.5	26	8.4
Muse Wonder Full	21	3.0
Claude Haiku 5.5	21	6.1
GPT-6 Luna	13	5.6

Gemini 4 Argonは他のラボの旗艦モデルよりもはるかに変動します。その最良と最悪の実行は18ポイント離れており、GPT-6 Astraの9、Claude Opus 5.5の8と比較されます。

ベンチマークの仕組み: 目的、ツール、トーナメント設定

目的

各LLMは、OpenBWでプレイされるBWAPI 4.4.0に対してC++でProtossボットを書きます。ゲームは3つのラダーマップ（Heartbreak Ridge、Benzene、Destination）でのProtoss対Protossです。ゲームは一方の建物がすべて破壊されたときに終了します。60分の上限（86,400フレーム）に達したゲームは、BASILラダーと同様に決定されます。高いキル+レイジングスコアが勝ちます。

LLMは、採掘のみを行うスケルトンボットから始まり、3つのデモボットと2つの標準ボットライブラリ（戦闘シミュレータFAPとマップアナライザBWEM）のソースコードが提供されます。1時間が終了したときにボットフォルダにあるものはすべて最終ボットとなるため、ボットをコンパイルし続ける必要があります。

LLMには、ボットをコンパイルし、練習ゲームをプレイし、各ゲームの要約、トランスクリプト、および自分のボットのログを読むためのツールがあります。練習相手は層にグループ化されています: D（3つのデモボット）、CとB（それぞれ3つのミッドランクの人間作成ボット）、A（BananaBrain、Locutus）、S（Stardust、PurpleWave）。

トーナメント設定

v0.2トーナメントは、45のLLMボットを13の対戦相手に対して10,530ゲーム、ペアあたり18ゲーム実行しました。各モデルの5つの最終ボットは、13の名簿ボット（10の競争力のある人間作成ボットと3つのデモボット）のそれぞれと、各マップで6回、新しいシードで対戦します。v0.1とは異なり、LLMボットは互いに対戦しません。

ハーネスと推論努力

StarSkirmish Bench v0.1は、すべてのモデルを同じニュートラルなサードパーティハーネスでhigh推論で実行しました。v0.2は、各モデルをそのラボのファーストパーティCLIハーネスで、提供される最高の推論設定で実行します:

Anthropic（Claudeモデル）: Claude Code、バージョン2.1.296
OpenAI（GPTモデル）: Codex、バージョン0.162.1
Google（Geminiモデル）: Antigravity CLI、バージョン1.3.5
Meta（Museモデル）: Muse Code、バージョン1.4.7

すべてのv0.2ハーネスは、約250kトークンでモデルのコンテキストを圧縮します。会話がそのポイントに近づくと、CLIはそれを凝縮し、モデルは続行します。たとえば、CodexはGPTモデルにデフォルトの272kトークンウィンドウを提供し、90%満たされると圧縮をトリガーします。

CLIのWeb検索とWebフェッチツールはオフになっており、エージェントには他にインターネットアクセスがありません。CLIはクロックが始まる前にインストールされ、1時間はエージェントが開始したときからカウントされます。送信ツールはありません。ハーネスは時間が切れたときにボットを収集します。

スコアリング

v0.2は、v0.1のEloレーティングを単純な勝率に置き換えます。ボットのスコアは、234のトーナメントゲームでの勝率であり、モデルのStarSkirmish Benchスコアは、5つのボットのスコアの平均で、0（すべてのゲームで負け）から100（すべてのゲームで勝ち）までです。

すべてのボットが同じ固定された名簿をプレイするため、そのゲームはフィールド内の他のLLMボットに依存しません。それらはすべて並行して実行され、新しいモデルのボットは他の誰かを再プレイせずにスコアリングできます。固定された名簿はまた、時間の経過とともにバーを同じに保つため、異なるモデル世代のスコアは、1つのフィールド内で適合されたEloレーティングよりも直接比較可能です。

相関: StarSkirmishはVals IOIとWeirdMLを追跡し、人気のある評価は追跡しない

StarSkirmishは、最も広く報告されている評価を追跡しなくなりました。Artificial Analysis Intelligence Index（ρ 0.26）とはほとんど動きません。ここでトップのモデルであるGPT-6 Astraは、これらの9つのモデルのうち4位タイにすぎません。また、v0.1で密接に追跡していたTerminal-Bench 4.0からも離れています。Claude Sonnet 5.5とMuse Wonder FullはどちらもTerminal-Bench 4.0の上位にランクされていますが、ここでは最下位近くにランクされています。

StarSkirmishは依然としてVals IOI（ρ 0.95、C++で解かれたオリンピアドプログラミング問題）とWeirdML v3（ρ 1.00、n = 7、Gemini 4 ArgonとMuse Wonder Fullは執筆時点で含まれていませんでした）を追跡しています。これは、異常な機械学習コーディングタスクの独立したベンチマークです。ベンチマークの著者によって提供される1つの解釈は、最も頻繁にベンチマークされた評価がモデルが調整されるターゲットになっている一方で、長期的で困難なコーディングタスクのターゲットが少ないテストは依然として一緒に動くということです。

議論: ベンチマークが実際に測定するもの

StarSkirmish Bench v0.2に関するHacker Newsスレッド（150ポイント、69コメント）は、リーダーボードよりも、ベンチマークが意味のある能力を分離しているかどうかに焦点を当てていました。

繰り返される反対意見の1つは、スコアが複数のスキルを混同していることです。あるコメンターは次のように書きました:

このベンチマークが好きかどうかはわかりませんが、主に、それが実際に何を評価しているのかわからないからです...複数の要因が、それが見ようとしているものを複雑にしているようです（頭の上から）: コード生成速度、論理分析、ゲームプラットフォームの理解とCの使用がそれにどのように影響するか、考慮されたアプローチ、戦術、戦略。

別の人は、勝率ではなく定性的な分析を求めました:

エージェントが書いたボットから学ぶべき興味深いことはありますか？それとも、時間制限が非常に短いため、最良のボットの劣ったバージョンにすぎないのでしょうか？それらが人間が書いたボットのコードでトレーニングされているという兆候はありますか...ボットは毎回同じテクニックを適用するレールの上にどの程度あるのでしょうか？

関連する懸念は、StarCraftボットコードが公開されているため、事前トレーニングの汚染です。あるコメンターは、人間が書いたボットが依然として勝つことは、些細な記憶に対する証拠であるが、完全な説明ではないと述べました。別の人は、ベンチマークを「公開されているソリューションをどれだけうまく改善できるかのバージョン」と表現しました。

数人のコメンターがバリアントを提案しました。1人は、最良のBrood Warプレイヤーからゲームを奪うことができるニューラルネットワークボットとして説明されるPlutoに対するベンチマークを提案しました。他の人は、エージェントがボットを書く代わりにStarCraftを直接プレイしたらどうなるかを尋ねました。LLMがStarCraftを直接プレイする別のプロジェクトであるbroodbench.comを指摘しました。あるコメンターは逆の実験を望みました: 「各モデルがさまざまな層のボットに対して50%以上の勝率を得るのにどのくらい時間がかかりますか？」別の人は、最良の人間プレイヤーがLLMが書いたボットに対してどう戦うかを尋ね、もう1人はベンチマークがなぜProtossを使用するのかを尋ねました。

最も賛成票を集めた技術的なポイントは、ハーネス効果についてでした。ベンチマーク自身のファーストパーティCLIと無効化されたWebアクセスの説明を引用して、あるコメンターは次のように書きました:

私たちが学んでいることの1つは、ハーネスが非常に大きいということです。同じ基盤モデルのパフォーマンスの違いは、次の間で劇的に変化する可能性があります: 1. ハーネス 2. 許可されたツール（Web検索/フェッチなし - モデルはドキュメントをどのように参照しますか？） 3. 思考レベル

反対のデータポイントは、ModernUOサーバーでボットを実行している開発者から来ました。彼は自分の作業で逆のランキングを報告しました:

ModernUOサーバーにボットを投入してきましたが、Opus 5.5がそれを理解して構築するのにかなり優れていることがわかりました。実際、6.1 Solと6 Astraから始めましたが、1週間ほとんど進歩がなかったため、それらを引き抜き、Opus 5.5に引き継がせました。それは一晩ですべてを適切に再構築し、それ以来かなり進んでいます。

あるコメンターは、StarSkirmish Bench v0.2の相対的な順序（GPT-6 Astra > GPT-6.1 Sol > Gemini 4 Argon > Claude Opus 5.5 > Claude Fable 5.1 > Claude Sonnet 5.5）が、KataGoの対戦相手をEloアンカーとして使用する独立した9x9囲碁ベンチマークの順序と一致することを指摘しました。2つのベンチマークは異なる問題をテストしているにもかかわらずです。

小さな批判には、コストチャートの「パレート曲線」は、Claude Haiku 5.5が曲線上ではなく内側にあるため、真のパレート曲線ではないという指摘、ビデオクリップがどのチャートにも表示されないGLMモデルを示しているかどうかという質問、ベンチマークが1分あたりのアクション数を省略しているという冗談（「明らかにパフォーマンスの最良の指標」）が含まれていました。コメンターはまた、StarCraft IIボット競技のためにaiarena.netを指摘し、フォーマットをStarCraft II、Red Alert 2、Counter-Strike、Cities: Skylinesに拡張することを提案しました。