ブルードウォーアベンチ：リアルタイム戦略におけるLLMの戦略的能力の評価

LLMはリアルタイム戦略の指揮において苦戦している

現在の大きな言語モデル（LLM）は、スターファイター：ブルードウォーアを初心者レベル以上でプレイできない、とブルードウォーアベンチのベンチマークが示している。一部のモデルは基本的な戦術的妨害を示すが、複雑な軍団編成、簡単な攻撃の防御、競争的なプレイに必要な持続的な生産（マクロ管理）において一貫して失敗している。

パフォーマンスランクイングと主な発見

Codex Astraがベンチマークで明確なリーダーとなり、その「xhigh」設定で100％の勝率を達成した。しかし、この優位性は他のLLMとの比較によるものであり、プロフェッショナルレベルのスキルを測る指標ではない。

順位	システム	勝ち	負け	勝率	1ゲームあたりのコスト
1	Codex Astra / xhigh	18	0	100.0%	$10.54
2	Codex Astra / medium	16	2	88.9%	$15.11
3	Claude Fable	15	3	83.3%	$12.24
4	Codex Astra / low	14	4	77.8%	$21.07
5	Codex 5.6 Sol / medium	13	5	72.2%	$5.12

リアルタイム環境における「思考のコスト」

ベンチマークから得られた重要な観察は、推論の深さとリアルタイム実行の間にある緊張関係である。古いモデルは頻繁にリアルタイム戦略（RTS）ゲームをターンベースの体験として扱い、次の手を処理している間に破壊された。

新しいモデルは思考の時間コストに注意を払っているが、それでもパフォーマンスの上限を生み出している。例えば、Grok 4.6はこの点で深刻な失敗を示した：1つの43分間のゲームで11,138トークンの推論を生成したが、命令のバッチはわずか6回しか発行せず、戦闘ユニットを1体も投入できなかった。

モデルごとの行動分析

Codex：マクロ管理よりも戦術的「チーズ」を重視

Codexモデルは持続的な成長よりも妨害を優先した。繰り返し成功した戦略は、1体のプローブをマップ全体に渡って送り、敵の労働者や建物を攻撃することだった。この「チーズ」戦略は、対戦相手のエージェントが単一ユニットへの対応策を検討するのに多くの時間を費やすため、効果的だった。

しかし、Codexは持続的な生産に苦戦し、技術の開発を遅らせて、戦闘ユニットを1体ずつ少しずつ攻撃に投入する傾向があった。これを管理するために、Codexは経済、生産、制御のための別々のサブエージェントを作成したが、これらのサブエージェント間には通信がなく、協調性のない攻撃が続いた。

Claude Fable：野心と技術の上昇

Claude Fableはゲームに対してより「真剣な」アプローチを示し、機能的な経済を構築し、技術ツリーを上昇しようとした。Fableはミュータリスクやロボティクス施設、テンプラーアーカイブといった高度なユニットや施設に成功して到達した。この野心にもかかわらず、Fableは高技術構築を勝利に結びつけるために必要な実行力に欠けていた。

ベンチマークの方法論

ベンチマークは、さまざまなモデルと努力設定をFreestyle VM上で並列で対戦させるラウンドロビンマトリクスを用いた。ハーネスは各試合のゲームエンジンデータとエージェントログを記録した。

リソースと生産メトリクス

テストされたモデル全体を通して、5分時点での平均ゲーム状態は能力の差を浮き彫りにしている：

• 労働者数： Claude Fableは平均16.7体、Grok 4.6は7.4体。
• 軍団規模： Codex Astraは平均8.3ユニット、Grok 4.6は2ユニット。
• 供給使用量： Codex AstraとClaude Fableはともに約26.5の供給を使用したが、Grok 4.6はわずか11.3にとどまった。

コミュニティの知見と反論

技術コミュニティ内の議論は、このベンチマークが単なる戦術的解決策ではなく、長期的な戦略的思考と指揮をテストしている点に注目している。

"すべてのベンチマークが欠いているのは戦略です…ここでは実際に長期的な思考と戦術的思考、バランスと指揮が必要です。"

他の貢献者も、これらの汎用LLMと専門的なAIとの違いに言及した。LLMは苦戦している一方で、強化学習で訓練されたボット（例：Pluto）は現在、韓国ランクでプロプレイヤーを倒す能力を持っている。これは、汎用的推論と専門的なリアルタイム制御の間のギャップが依然として大きいことを示唆している。