Brood War Bench: LLMs Play StarCraft II – Codex Astra が首位、すべてのモデルは初心者レベルに留まる

重要なポイント

Codex Astra (xhigh) は完璧な 100 % の勝率を達成したが、ベンチマークに登場したすべての LLM は持続的な戦略を実行できず、簡単な攻撃に対しても防御できず、初心者レベルに留まった。

ベンチマーク概要

"Brood War Bench" ベンチマークでは、大規模言語モデル（LLM）がカスタム StarCraft II: Brood War 環境で互いに競い合う。エージェントはゲームコマンドを直接発行する。各モデルは複数の努力レベル（低、中、xhigh）で実行され、勝率、分あたりの行動数（APM）、ゲームあたりのコストを測定する。

順位	モデル / 努力レベル	勝ち	負け	APM	ゲームあたりのコスト	勝率
🥇	Codex Astra / xhigh	18	0	12.6	$10.54	100 %
🥈	Codex Astra / medium	16	2	17.2	$15.11	88.9 %
🥉	Claude Fable	15	3	12.6	$12.24	83.3 %
4	Codex Astra / low	14	4	25.7	$21.07	77.8 %
5	Codex 5.6 Sol / medium	13	5	10.1	$5.12	72.2 %
…	…	…	…	…	…	…

モデルの行動様式

Codex Astra – 激しい妨害、マクロの弱さ

"Codex の最も強力な反復的アイデアは妨害だった。頻繁にプローブをマップ全体に渡って送り込み、労働者や建物を攻撃することで、相手が時間を無駄に使うようにしていた。" – Ben Swerdlov

チーズ戦術 – 早期のプローブと単体ユニットの襲撃が、相手を驚かせ続けた。
断片化されたサブエージェント – 経済、生産、戦闘を別々のエージェントが担当したが、連携がなく、断片的な攻撃に留まった。
初心者ミス – ユニットを1体ずつ発進させ、臨界質量を待たず、軍隊の効果を制限した。
粘り強さ – 負けたゲームでも、Codex 5.6 Terra は指揮所を移動させ、6分間追加で生存した。即時敗北を回避する能力を見せた。

Claude Fable – 高い野心だが未完成

"Fable は最初のユニットを手に入れた段階で止まるのではなく、経済を築き、技術ツリーを上昇させようとした。" – Ben Swerdlov

長期計画 – 高度な技術（Lair、Spire、Mutalisks；Robotics Facility、Templar Archives）を構築し、時折勝利した。
実行のギャップ – 強力な技術を備えても、アップグレードを決定的な軍隊に変換できず（例：Factory と Academy に到達したが、Opus 5 に圧倒された）。

Grok 4.6 – 考えすぎ、行動不足

"Grok 4.6 は頻繁に長時間の推論を行い、非常に少ないコマンドバッチを発行した。1試合43分のゲームで、たった6回のコマンドバッチしか発行しなかった。" – Ben Swerdlov

低 APM – 平均11 APM、戦闘ユニットをほとんど出撃させなかった。
ターンベースの錯覚 – モデルはゲームが推論のために一時停止しているかのように振る舞い、意味のある戦闘が行われなかった。

定量的結果

指標	Codex Astra (xhigh)	Claude Fable	Grok 4.6
平均 APM	12.6	12.6	11.1
平均軍隊規模（ユニット数）	8.3	7.6	2.0
平均構造物数	6.2	7.4	4.5
未使用のマインerals	240.6	248.6	536.6
勝率	100 %	83.3 %	0 %

すべてのモデルが大量のリソースを無駄にした。特に Grok は平均で50万以上のマインeralsを未使用にした。

ヘッド・トゥ・ヘッド行列の洞察

完全な 19 × 19 行列（ソース内のリンク参照）から分かること：

Codex Astra (xhigh) は他のすべての設定に勝利した。
他の非 Codex モデルの中でも最も強力な Claude Fable でさえ、Codex Astra の2つの努力レベルに敗れた。
Grok は一度も勝利しなかった。最高成績はタイムリミット引き分けだった。
Claude Opus 5 と Claude Sonnet は、低努力レベルの Codex バリエーションに対してのみ、やや高い勝率を記録した。

コミュニティの反応

"2010年、bwapiの初期段階に、Brood War AI ツアーが開催されていた。当時のアプローチと、今のものや DeepMind の SC2 ワークとを比べるのは興味深い。" – @AntiRush

"こうしたモデルが、実用的になるにはあまりにも長く考えてしまう典型的な例だ" – @xyzsparetimexyz

"Age of Empires 2 用のベンチマークを作りたいが、AIがどうやってプレイするか全く分からない。" – @windowshopping

"Astra には明示的に medium/xhigh のレベルがあったが、Fable はただ Fable だけ。どの推論レベルが使われたのか？" – @leobuskin

コメントからは、古典的な StarCraft AI ツアーへの郷愁、ハーネスのリアルタイム対ターンベース性への関心、および他の RTS や戦略ゲームへのベンチマーク拡張の提案が浮き彫りになった。

ベンチマークの実行方法

ラウンドロビン方式で、すべてのモデル・努力レベルの組み合わせが他のすべてと対戦した。
マッチは Freestyle VM 上で並列実行された。
ゲームエンジンの状態とエージェントのログが、すべてのゲームで記録された。
コストは、各モデルのトークンベースの料金（例：OpenAI トークン料金、Claude トークン料金）で計算された。

意味と今後の方向性

リアルタイム推論は依然としてボトルネックである。 最も優れた LLM（Codex Astra）ですら、高度なマクロ管理ではなく、安易な妨害戦術に頼っている。
コスト対パフォーマンスのトレードオフが明確である。 高い努力レベルは勝率を向上させるが、ゲームあたりのコストも増加する。一部の低努力レベル（例：Codex 5.6 Sol / low）は、コストの数分の1で、まともな勝率を達成している。
ベンチマークの拡張性。 コミュニティの関心から、同様のフレームワークを他の RTS タイトル（Age of Empires II、StarCraft II Remastered）や、ターンベース戦略ゲーム（Go、GoBench を参照）に適用できる可能性がある。
モデルアーキテクチャの重要性。 Codex で観察された「サブエージェントの分離」は、アーキテクチャ上の改善の可能性を示唆している：共有状態や調整レイヤーを導入することで、「1体ずつ発進」の弱点を緩和できるかもしれない。

自分で試してみよう

このベンチマークは公開されている。ユーザーは自前のエージェントを持ち込み、公開されたモデルと対戦できる。

Brood War をプレイ