브루드 워 벤치: 실시간 전략에서 LLM의 전략적 능력 평가

LLM은 실시간 전략 조율에 어려움을 겪는다

현재 어떤 대규모 언어 모델(LLM)도 스타크래프트: 브루드 워를 초보 수준 이상으로 플레이할 수 없다는 것이 브루드 워 벤치 평가에서 드러났다. 일부 모델은 기본적인 전술적 방해를 보여주지만, 복잡한 군대 구성, 간단한 공격 방어, 그리고 경쟁적인 플레이에 필요한 지속적인 생산(마크로 관리)에서는 일관되게 실패한다.

성능 랭킹 및 주요 발견

Codex Astra가 벤치마크에서 명확한 선두를 차지하며, 'xhigh' 설정에서 100% 승률을 기록했다. 그러나 이 우위는 전문가 수준의 기술을 측정한 것이 아니라, 다른 LLM들에 비해 상대적으로 높은 성능을 의미한다.

순위	시스템	승리	패배	승률	게임당 비용
1	Codex Astra / xhigh	18	0	100.0%	$10.54
2	Codex Astra / medium	16	2	88.9%	$15.11
3	Claude Fable	15	3	83.3%	$12.24
4	Codex Astra / low	14	4	77.8%	$21.07
5	Codex 5.6 Sol / medium	13	5	72.2%	$5.12

실시간 환경에서의 '사고의 비용'

벤치마크에서 중요한 관찰은 추론의 깊이와 실시간 실행 사이의 긴장 관계이다. 오래된 모델들은 실시간 전략(RTS) 게임을 순차적 턴 기반 경험으로 여겨, 다음 수를 계산하는 동안 파괴되는 경우가 많았다.

최신 모델들은 사고의 시간 비용을 더 인지하고 있지만, 여전히 성능의 한계를 만든다. 예를 들어, Grok 4.6은 이 분야에서 심각한 실패를 보였다: 43분 동안의 한 게임에서 11,138개의 추론 토큰을 생성했지만, 명령 배치는 단 6번만 내렸고, 전투 유닛 하나도 투입하지 못했다.

모델별 행동 분석

Codex: 마크로 관리보다 전술적 '치즈' 전략 우선

Codex 모델들은 지속 가능한 성장을 넘어서는 방해 전략을 우선시했다. 반복적으로 성공한 전략은 지도 전체를 가로질러 단일 프로브를 보내 적의 노동자나 건물을 공격하는 것이었다. 이 '치즈' 전략은 상대 에이전트가 단일 유닛에 대응하는 방법을 고민하는 데 많은 시간을 소비하기 때문에 효과를 발휘했다.

그러나 Codex는 지속적인 생산에 어려움을 겪었고, 기술 개발을 지연시키며 공격에 유닛을 하나씩 천천히 투입하는 경향이 있었다. 이를 관리하기 위해 Codex는 경제, 생산, 제어를 위한 별도의 하위 에이전트를 만들었지만, 이 하위 에이전트들 간의 소통이 부족해 조율되지 않은 공격을 보였다.

Claude Fable: 야망과 기술 트리 상승

Claude Fable는 게임에 더 '진지한' 접근 방식을 보였다. 기능적인 경제를 구축하고 기술 트리를 오르는 것을 시도했다. Fable는 마탈리스크와 같은 고급 유닛을 성공적으로 도입했으며, 로보틱스 시설과 템플러 아카이브 같은 구조물을 활용했다. 이러한 야망에도 불구하고, 고기술 빌드를 승리로 이끄는 데 필요한 실행력에는 여전히 어려움을 겪었다.

벤치마크 방법론

벤치마크는 다양한 모델과 노력 설정을 서로 평행하게 플레이하는 라운드 로빈 매트릭스를 사용했다. 각 게임은 프리스타일 VM에서 진행되었으며, 하네스는 모든 매치의 게임 엔진 데이터와 에이전트 로그를 기록했다.

자원 및 생산 지표

시험된 모델들 사이에서 5분 시점의 평균 게임 상태는 능력의 격차를 드러낸다:

노동자 수: Claude Fable는 평균 16.7명의 노동자를 보였으나, Grok 4.6는 7.4명에 그쳤다.
군대 규모: Codex Astra는 평균 8.3개의 유닛을 보였고, Grok 4.6는 2개에 그쳤다.
공급 사용량: Codex Astra와 Claude Fable는 모두 약 26.5의 공급을 사용했지만, Grok 4.6는 단지 11.3만 사용했다.

커뮤니티의 통찰과 반론

기술 커뮤니티 내에서의 논의는 이 벤치마크가 단순한 전술적 해결책을 넘어서 장기적인 전략적 사고와 조율 능력을 테스트한다는 점을 강조한다.

"모든 벤치마크들이 빠뜨리는 것은 전략이다... 여기서는 실제 장기적인 사고와 전술적 사고, 균형과 조율이 필요하다."

다른 기여자들은 이러한 일반 목적의 LLM과 전문화된 AI 사이의 차이를 지적했다. LLM은 어려움을 겪지만, 강화 학습으로 훈련된 봇(예: Pluto)은 현재 한국 레이더에서 프로 플레이어를 이길 수 있다. 이는 일반적인 추론 능력과 전문화된 실시간 제어 사이의 격차가 여전히 크다는 것을 시사한다.