GVS5H: 5개의 Qwen3.8-27B 모델이 Claude Fable 5 성능을 달성하다

GVS5H 개요: Gorilla vs. 5 Humans

GVS5H (Gorilla vs. 5 Humans)는 더 작은 오픈 웨이트 모델이 코딩 작업에서 최첨단 수준의 성능을 달성할 수 있도록 하는 학습이 필요 없는 오케스트레이션 방법입니다. 원장 기반의 제로샷 자가 오케스트레이션을 활용하여, 단일 모델의 여러 인스턴스가 복잡한 문제를 분해하고 계획, 메모, 진화하는 솔루션이 포함된 공유 파일 시스템을 통해 협력합니다. 이 접근 방식을 통해 Qwen3.8-27B와 같은 모델이 LiveCodeBench 하드 코딩 벤치마크에서 경쟁력 있는 결과를 달성하여, Claude Fable 5와 같은 독점 모델의 성능과 일치하면서도 추론 비용을 크게 절감할 수 있습니다.

성능 및 방법론

GVS5H 접근 방식의 핵심은 지속적인 컨텍스트 관리입니다. 단일 대형 컨텍스트 윈도우에 의존하는 대신, 시스템은 디스크의 공유 작업 공간을 사용하여 상태를 유지합니다. 모델 인스턴스는 다음 파일들과 상호 작용합니다:

• task.md: 원래 문제 설명.
• plan.md: 관리자의 전반적인 전략.
• notes.md: 선별된 결과 및 부분 증명.
• solution.py: 현재 코드 반복.

이러한 인스턴스를 관리자-작업자 관계로 순환시키고 새로운 컨텍스트를 제공함으로써, 프레임워크는 복잡성을 효과적으로 관리합니다. LiveCodeBench의 가장 최근 하드 문제 100개에서 이 방법은 로컬에서 실행되는 Qwen3.8-27B의 pass@1 비율을 66.8%에서 92.4%로 높였으며, 이는 Claude Fable 5의 90.4% 점수를 근소하게 앞서는 수치입니다. 연구진은 이러한 효율성 덕분에 단일 GPU에서 최첨단 수준의 코딩 능력을 발휘할 수 있다고 언급합니다.

커뮤니티 토론 및 비판

GVS5H의 출시는 현재 벤치마킹 관행의 타당성과 에이전트 워크플로우의 본질에 대한 논쟁을 불러일으켰습니다. 비평가들은 다음과 같은 몇 가지 논쟁점을 제기했습니다:

• 벤치마크 포화 및 오염: 일부 관찰자들은 2025년 4월까지 출시된 문제를 포함하는 LiveCodeBench를 사용하는 것이 데이터 오염의 위험이 있으며 실제 에이전트 성능을 정확하게 반영하지 못할 수 있다고 주장합니다. 한 댓글 작성자가 언급했듯이, "데이터셋의 업데이트된 릴리스는... 사실상 오염을 보장하는 것과 다름없습니다."
• 과적합 우려: 이 하네스가 모델의 추론 능력을 진정으로 향상시키는지, 아니면 단순히 벤치마크의 특정 구조에 과적합되는 것인지에 대한 회의적인 시각이 있습니다. 비평가들은 "하네스가 좋은 벤치마크 점수를 얻기 위해 구축되었다"고 지적합니다.
• 오케스트레이션 vs. 모델 지능: 성능 향상이 모델 고유의 지능에서 비롯된 것인지, 아니면 하네스의 엄격한 구조 때문인지에 대한 논의가 계속되고 있습니다. 일부 사용자는 자신의 코딩 작업을 관리하기 위해 유사한 수동 워크플로우(PLAN.md 및 STATUS.md 파일 사용)를 구현했다고 언급하며, 업계가 복잡한 에이전트 작업을 위한 표준 패턴으로 공유 상태 조정을 채택하고 있음을 시사했습니다.
• 실용성: 비용 대비 성능 비율이 주요 이점으로 강조되지만, 일부 사용자는 다중 패스 접근 방식이 단일 호출 최첨단 모델에 비해 실행 시간이 훨씬 길어지는지 묻는 등 지연 시간 트레이드오프에 대해 의문을 제기했습니다.

구현

GVS5H 프레임워크는 GitHub에서 사용할 수 있으며 의존성 관리를 위해 uv가 필요합니다. 사용자는 엔진(관리자 vs. 단일 호출)과 대상 모델을 지정하여 벤치마크를 실행할 수 있습니다. 이 프로젝트는 MIT 라이선스로 출시되었으며, 문서와 데이터는 CC BY 4.0에 따라 제공됩니다.