StarSkirmish Bench v0.2: GPT-6 Astra가 LLM StarCraft 봇 벤치마크에서 1위

StarSkirmish Bench v0.2는 9개의 최첨단 LLM이 1시간의 벽시계 시간 안에 각각 작성할 수 있는 StarCraft: Brood War 봇의 강점을 평가하며, GPT-6 Astra가 100점 만점에 57점으로 우승했습니다. 주요 결과는 모델이 선두를 차지했다는 것이 아니라, 최고 모델이 가장 강력한 인간 작성 봇을 상대로 단 7%의 게임에서만 이긴다는 것입니다 — 벤치마크는 포화 조짐을 보이지 않습니다.

StarSkirmish Bench v0.2가 측정하는 것

StarSkirmish는 LLM이 StarCraft: Brood War용 봇을 작성하는 벤치마크입니다. 각 LLM은 C++로 프로토스 봇을 작성하는 데 1시간이 주어지며, 이후 다른 LLM의 봇 및 기존 인간 작성 봇과 평가됩니다. 이 벤치마크는 장기 추론과 에이전트 코딩을 테스트합니다. 모델은 1시간 내에 봇을 개선하기 위해 연습 게임에서 얻은 학습을 통합해야 하기 때문입니다.

v0.2는 OpenAI, Anthropic, Google 및 Meta의 플래그십 모델로 StarSkirmish Bench v0.1을 업데이트하며, 각 모델은 해당 연구소의 자체 CLI 하네스에서 실행됩니다. LLM의 점수는 경쟁력 있는 인간 작성 봇 및 데모 봇 명단에 대한 승률을 반영합니다.

리더보드: GPT-6 Astra 선두, Gemini 4 Argon과 Claude Opus 5.5 공동 3위

점수는 각 모델의 5회 실행이 경쟁력 있는 인간 작성 봇 명단을 상대로 한 평균 승률(0–100)이며, 각 연구소의 자체 CLI 하네스에서 1시간 실행한 결과입니다.

모델 StarSkirmish Bench v0.2 점수
GPT-6 Astra 57
GPT-6.1 Sol 46
Gemini 4 Argon 39
Claude Opus 5.5 39
Claude Fable 5.1 37
Claude Sonnet 5.5 26
Muse Wonder Full 21
Claude Haiku 5.5 21
GPT-6 Luna 13

GPT-6 Astra는 StarSkirmish Bench v0.2에서 최고 점수 모델로, 2위인 GPT-6.1 Sol보다 한 단계 앞서 있습니다. Gemini 4 Argon, Claude Opus 5.5 및 Claude Fable 5.1은 그 뒤에서 사실상 동률이며, 모두 37~39점 사이입니다.

추론 노력에 대한 한 가지 주의 사항: Gemini 4 Argon은 사용 가능한 가장 높은 추론 수준인 high로 실행되는 반면, 다른 모든 모델은 max로 실행됩니다.

비용: GPT-6.1 Sol이 실행당 최고의 가치 제공

StarSkirmish Bench 점수를 1시간 실행의 평균 API 비용(로그 스케일 비용)과 대비하면 GPT-6.1 Sol이 가장 매력적인 사분면에 위치합니다. GPT-6.1 Sol은 해당 사분면의 유일한 LLM으로, GPT-6 Astra의 실행당 비용의 약 10분의 1로 2위를 차지합니다. Muse Wonder Full의 가격은 Muse Wonder의 API 가격을 기준으로 합니다.

포화 조짐 없음: 인간 작성 봇이 여전히 지배적

가장 강력한 인간 작성 봇은 여전히 모든 모델보다 훨씬 앞서 있습니다. Stardust, PurpleWave 및 BananaBrain을 상대로 최고 모델인 GPT-6 Astra는 게임의 7%만 승리합니다.

각 모델의 5개 봇이 최고 인간 작성 봇 Stardust, PurpleWave 및 BananaBrain을 상대로 한 평균 승률:

  • GPT-6 Astra: 7
  • GPT-6.1 Sol: 4
  • Gemini 4 Argon: 2
  • Claude Opus 5.5: 2
  • Claude Fable 5.1: 2
  • Claude Sonnet 5.5: <1
  • Muse Wonder Full: <1
  • Claude Haiku 5.5: <1
  • GPT-6 Luna: 0

1시간 추론 제한이 요인이지만, 이러한 경기는 3개의 2인용 맵에서 진행됩니다. 실제 인간 작성 봇 토너먼트 조건은 훨씬 더 어렵습니다.

Gemini 4 Argon: 원샷 코딩, 리버, 그리고 타이밍 공격

Gemini 4 Argon은 v0.2에서 3위를 차지하며 v0.1의 Gemini 3.8 Flash를 대체합니다. 독특한 행동은 원샷으로 봇을 작성하는 것을 유일하게 선호했다는 점입니다. 5회 실행에서 추적된 모든 실행 중 가장 적은 빌드 및 코드 버전을 기록했습니다.

Gemini 4 Argon의 연습 게임 중 41%가 상위 티어 상대와의 경기였으며, 이는 GPT-6 Astra에 이어 두 번째로 높은 수치입니다. 그러나 해당 티어와의 게임에서 봇의 승률은 7%에 불과하며, Astra의 28%와 비교됩니다. 게임당 평균 2.5회 업그레이드를 사용하여 필드에서 가장 많습니다.

Gemini 4 Argon의 선호 전략은 타이밍 공격입니다 — Dragoon과 Zealot을 포탑 뒤에 대기시켜 한 번의 큰 공격을 하는 것입니다. 선호 유닛은 Reaver이며, 두 번째로 좋은 봇은 게임의 70% 이상에서 Reaver를 생산합니다. 기록된 클립 중 하나에서 Argon의 큰 공격이 192 공급에서 동등한 군대와 만나고, Psionic Storm이 교전에서 승리합니다.

Muse Wonder Full: Zealot 러시와 과도한 Observer 사용

Muse Wonder Full은 v0.2에서 7위를 차지하며 v0.1의 Muse Spark 1.3을 대체합니다. 선호 전략은 매크로입니다: 빠른 확장 후 5~9개의 게이트웨이를 건설하고, 본인이 본 군대보다 수적으로 우세할 때만 공격합니다. 게임당 평균 3개의 Observer를 생산하여 모든 모델 중 가장 많고 필드의 1.6배이며, 게임당 22개의 Zealot을 생산합니다 — v0.1과 마찬가지로 Zealot 중심 군대입니다. 한 클립에서 Muse의 Zealot 러시가 Dragoon 군대를 추격합니다.

Muse Wonder Full은 또한 명단에서 가장 강한 봇을 상대로 거의 또는 전혀 연습하지 않는 모델 중 하나입니다.

점수의 가장 강력한 예측 변수는 강한 봇을 상대로 연습하는 것입니다

각 실행의 에이전트 추적은 모델이 1시간을 어떻게 보냈는지 기록하며, 모델 점수의 가장 강력한 예측 변수는 명단에서 가장 강한 7개 봇을 상대로 얼마나 연습했는지입니다. GPT-6 Astra, GPT-6.1 Sol 및 Gemini 4 Argon은 1시간 초반에 이러한 봇과 플레이하기 시작하며, 자신의 봇이 여전히 그들에게 지는 동안에도 그렇습니다. Muse Wonder Full, Claude Haiku 5.5 및 GPT-6 Luna는 거의 또는 전혀 그렇게 하지 않습니다.

Claude Fable 5.1은 예외입니다: 약한 봇을 상대로 거의 전적으로 연습하면서 37점을 기록합니다.

실행 간 변동이 크며, 특히 Gemini 4 Argon에서 두드러짐

동일 모델의 실행 간 승률은 다릅니다. 각 모델의 5회 실행은 분포를 생성하며, 평균은 모델의 벤치 점수와 같습니다:

모델 점수 σ
GPT-6 Astra 57 3.4
GPT-6.1 Sol 46 6.0
Gemini 4 Argon 39 7.0
Claude Opus 5.5 39 3.2
Claude Fable 5.1 37 2.9
Claude Sonnet 5.5 26 8.4
Muse Wonder Full 21 3.0
Claude Haiku 5.5 21 6.1
GPT-6 Luna 13 5.6

Gemini 4 Argon은 다른 연구소의 플래그십보다 훨씬 더 큰 변동을 보입니다: 최고와 최저 실행 간 18점 차이이며, GPT-6 Astra는 9점, Claude Opus 5.5는 8점입니다.

벤치마크 작동 방식: 목표, 도구 및 토너먼트 설정

목표

각 LLM은 BWAPI 4.4.0에 대해 C++로 프로토스 봇을 작성하며, OpenBW에서 플레이됩니다. 게임은 세 개의 래더 맵(Heartbreak Ridge, Benzene, Destination)에서 프로토스 대 프로토스로 진행됩니다. 한쪽의 건물이 모두 파괴되면 게임이 종료됩니다. 60분 제한(86,400프레임)에 도달하는 게임은 BASIL 래더와 같이 결정됩니다: 더 높은 킬 + 레이징 점수가 승리합니다.

LLM은 채굴만 하는 스켈레톤 봇에서 시작하며, 세 개의 데모 봇 소스 코드와 두 개의 표준 봇 라이브러리(FAP 전투 시뮬레이터, BWEM 맵 분석기)가 제공됩니다. 1시간이 끝날 때 봇 폴더에 있는 것이 최종 봇이므로, 봇을 계속 컴파일 상태로 유지해야 합니다.

LLM은 봇을 컴파일하고, 연습 게임을 플레이하고, 각 게임의 요약, 기록 및 자체 로그를 읽을 수 있는 도구가 있습니다. 연습 상대는 티어로 그룹화됩니다: D(세 개의 데모 봇), C 및 B(각각 세 개의 중간 순위 인간 작성 봇), A(BananaBrain, Locutus) 및 S(Stardust, PurpleWave).

토너먼트 설정

v0.2 토너먼트는 45개의 LLM 봇을 13명의 상대와 10,530게임(페어당 18게임)으로 진행했습니다. 각 모델의 5개 최종 봇은 13개 명단 봇(10개의 경쟁력 있는 인간 작성 봇과 3개의 데모 봇)과 각 맵에서 6번씩, 새로운 시드로 플레이합니다. v0.1과 달리 LLM 봇은 서로 플레이하지 않습니다.

하네스 및 추론 노력

StarSkirmish Bench v0.1은 모든 모델을 동일한 중립 타사 하네스에서 high 추론으로 실행했습니다. v0.2는 각 모델을 해당 연구소의 자체 CLI 하네스에서 제공하는 가장 높은 추론 설정으로 실행합니다:

  • Anthropic(Claude 모델): Claude Code, 버전 2.1.296
  • OpenAI(GPT 모델): Codex, 버전 0.162.1
  • Google(Gemini 모델): Antigravity CLI, 버전 1.3.5
  • Meta(Muse 모델): Muse Code, 버전 1.4.7

모든 v0.2 하네스는 약 250k 토큰에서 모델의 컨텍스트를 압축합니다. 대화가 해당 지점에 가까워지면 CLI가 이를 압축하고 모델은 계속 진행합니다. 예를 들어 Codex는 GPT 모델에 기본 272k 토큰 창을 제공하고 90%가 채워지면 압축을 트리거합니다.

CLI의 웹 검색 및 웹 가져오기 도구는 꺼져 있으며, 에이전트는 다른 인터넷 액세스 권한이 없습니다. CLI는 시계가 시작되기 전에 설치되며, 1시간은 에이전트가 시작할 때부터 계산됩니다. 제출 도구는 없습니다: 하네스는 시간이 끝나면 봇을 수집합니다.

점수 계산

v0.2는 v0.1의 Elo 등급을 단순 승률로 대체합니다. 봇의 점수는 234개의 토너먼트 게임에서의 승률이며, 모델의 StarSkirmish Bench 점수는 5개 봇 점수의 평균으로, 0(모든 게임 패배)에서 100(모든 게임 승리)까지입니다.

모든 봇이 동일한 고정 명단을 플레이하므로, 게임은 필드의 다른 LLM 봇에 의존하지 않습니다. 모두 병렬로 실행되며, 새 모델의 봇은 다른 봇을 다시 플레이하지 않고도 점수를 매길 수 있습니다. 고정 명단은 또한 시간이 지남에 따라 기준을 동일하게 유지하므로, 다른 모델 세대의 점수는 한 필드 내에서 맞춰진 Elo 등급보다 더 직접적으로 비교할 수 있습니다.

상관 관계: StarSkirmish는 Vals IOI 및 WeirdML을 추적하며, 인기 있는 평가는 추적하지 않음

StarSkirmish는 더 이상 가장 널리 보고되는 평가를 추적하지 않습니다. Artificial Analysis Intelligence Index(ρ 0.26)와는 거의 움직이지 않으며, 여기서 최고 모델인 GPT-6 Astra는 이 9개 모델 중 4위에 그칩니다. 또한 v0.1에서 밀접하게 추적했던 Terminal-Bench 4.0에서도 멀어졌습니다. Claude Sonnet 5.5와 Muse Wonder Full은 모두 Terminal-Bench 4.0에서 상위권이지만 여기서는 하위권입니다.

StarSkirmish는 여전히 Vals IOI(ρ 0.95, C++로 해결된 올림피아드 프로그래밍 문제)와 WeirdML v3(ρ 1.00, n = 7; 작성 시점에 Gemini 4 Argon과 Muse Wonder Full은 포함되지 않음)를 추적합니다. 이는 비정형 머신 러닝 코딩 작업의 독립적인 벤치마크입니다. 벤치마크 작성자가 제시하는 한 해석은 가장 많이 벤치마크된 평가가 모델이 튜닝되는 대상이 된 반면, 덜 타겟팅된 장기적이고 어려운 코딩 작업 테스트는 여전히 함께 움직인다는 것입니다.

논의: 벤치마크가 실제로 측정하는 것

StarSkirmish Bench v0.2에 대한 Hacker News 스레드(150포인트, 69댓글)는 리더보드보다는 벤치마크가 의미 있는 능력을 분리하는지에 더 초점을 맞췄습니다.

반복되는 반대 의견 중 하나는 점수가 여러 기술을 혼합한다는 것입니다. 한 댓글 작성자는 다음과 같이 썼습니다:

이 벤치마크가 마음에 드는지 확실하지 않습니다. 주로 실제로 무엇을 평가하는지 확실하지 않기 때문입니다... 여러 요인이 그것이 보려는 것을 복잡하게 만드는 것 같습니다(그냥 머리 속에서): 코드 생성 속도, 논리 분석, 게임 플랫폼 이해 및 C 사용이 그것에 미치는 영향, 고려된 접근 방식, 전술 및 전략.

또 다른 사람은 승률보다는 정성적 분석을 요청했습니다:

에이전트가 작성한 봇에서 배울 흥미로운 점이 있나요? 아니면 시간 제한이 너무 짧아서 최고 봇의 열등한 버전일 뿐인가요? 인간 작성 봇의 코드로 훈련되었다는 표시가 있나요... 봇이 매번 동일한 기술을 적용하는 레일에 얼마나 고정되어 있나요?

관련 우려는 사전 훈련 오염입니다. StarCraft 봇 코드는 공개되어 있기 때문입니다. 한 댓글 작성자는 인간 작성 봇이 여전히 이긴다는 점을 언급하며, 이는 단순한 암기에 대한 증거이지만 완전한 설명은 아니라고 했습니다. 다른 사람은 벤치마크를 "공개된 솔루션을 얼마나 잘 개선할 수 있는지의 버전"으로 설명했습니다.

여러 댓글 작성자가 변형을 제안했습니다. 한 명은 최고의 Brood War 플레이어에게서 게임을 가져갈 수 있는 신경망 봇인 Pluto를 상대로 벤치마킹할 것을 제안했습니다. 다른 사람들은 에이전트가 봇을 작성하는 대신 StarCraft를 직접 플레이하면 어떻게 되는지 물었습니다 — LLM이 StarCraft를 직접 플레이하는 별도 프로젝트인 broodbench.com을 지적했습니다. 한 댓글 작성자는 역 실험을 원했습니다: "각 모델이 다양한 티어의 봇을 상대로 50% 이상의 승률을 얻는 데 얼마나 걸리나요?" 또 다른 사람은 최고의 인간 플레이어가 LLM 작성 봇을 상대로 어떻게 할지 물었고, 한 명은 벤치마크가 왜 프로토스를 사용하는지 물었습니다.

가장 많은 업보트를 받은 기술적 지적은 하네스 효과에 관한 것이었습니다. 벤치마크의 자체 설명(자체 CLI 및 웹 액세스 비활성화)을 인용하며 한 댓글 작성자는 다음과 같이 썼습니다:

우리가 배우고 있는 한 가지는 하네스가 엄청나게 중요하다는 것입니다. 동일한 기본 모델의 성능 차이는 다음에 따라 크게 달라질 수 있습니다: 1. 하네스 2. 허용된 도구(웹 검색/가져오기 없음 - 모델이 문서를 어떻게 참조하나요?) 3. 사고 수준

반대 데이터 포인트는 ModernUO 서버에서 봇을 실행하는 개발자에게서 나왔으며, 자신의 작업에서 반대 순위를 보고했습니다:

ModernUO 서버에 봇을 채우고 있는데, Opus 5.5가 그것을 이해하고 구축하는 데 훨씬 더 뛰어나다는 것을 발견했습니다. 실제로 6.1 Sol과 6 Astra로 시작했지만 일주일 동안 진전이 거의 없어서 꺼냈고, Opus 5.5가 맡아서 하룻밤 만에 모든 것을 제대로 재구축했고 그 이후로 꽤 멀리 진행했습니다.

한 댓글 작성자는 StarSkirmish Bench v0.2의 상대적 순서(GPT-6 Astra > GPT-6.1 Sol > Gemini 4 Argon > Claude Opus 5.5 > Claude Fable 5.1 > Claude Sonnet 5.5)가 KataGo 상대를 Elo 앵커로 사용하는 독립적인 9x9 바둑 벤치마크의 순서와 일치한다고 언급했지만, 두 벤치마크는 다른 문제를 테스트합니다.

더 작은 비판에는 비용 차트의 "파레토 곡선"이 실제 파레토 곡선이 아니라는 지적(Claude Haiku 5.5가 곡선 위에 있지 않고 내부에 있기 때문), 비디오 클립이 어떤 차트에도 나타나지 않는 GLM 모델을 보여주는지에 대한 질문, 벤치마크가 분당 행동 수를 생략했다는 농담("분명히 성능의 최고 지표")이 포함되었습니다. 댓글 작성자들은 또한 StarCraft II 봇 경쟁을 위해 aiarena.net을 지적하고 형식을 StarCraft II, Red Alert 2, Counter-Strike 및 Cities: Skylines로 확장할 것을 제안했습니다.

SUMMARY: StarSkirmish Bench v0.2는 9개의 최첨단 LLM이 1시간의 C++ 코딩으로 작성한 StarCraft: Brood War 봇을 평가하며, GPT-6 Astra가 57점으로 선두를 차지하고 모든 모델이 여전히 최고의 인간 작성 봇보다 훨씬 뒤처져 있습니다.

TITLE: StarSkirmish Bench v0.2: GPT-6 Astra가 LLM StarCraft 봇 벤치마크에서 1위

Sources

관련