slee-persis/GVS5H
GVS5H: Five Qwen3.8-27B Models Match Claude Fable 5 on LiveCodeBench Hard | Fable 5 Level Coding for a Fifth the Price - or on a Single GPU
해결하는 문제
최첨단 코딩 성능을 위해서는 일반적으로 비용이 많이 드는 대규모 독점 모델이 필요합니다. 이 프로젝트는 학습이 필요 없는 대안을 제시합니다. 동일한 모델의 여러 인스턴스를 조정함으로써, 어려운 코딩 벤치마크에서 최고 수준의 폐쇄형 모델의 정확도와 일치하거나 심지어 능가하는 성능을 훨씬 낮은 비용으로 달성할 수 있습니다.
작동 방식
'원장 기반 제로샷 자기 오케스트레이션'이라 불리는 이 방법은 모델의 새로운 인스턴스를 실행하여 각 문제를 분해하고 공유 파일 시스템을 통해 조정합니다. 해당 파일 시스템은 계획, 메모, 현재 솔루션을 보관하므로 인스턴스들이 미세 조정이나 추가 학습 없이 협력하여 작업합니다. 11개의 오픈 및 폐쇄형 웨이트 모델을 대상으로 가장 최근의 LiveCodeBench 난제 100개를 통해 테스트되었습니다. 코드를 실행하려면 uv와 원하는 모델의 API 키가 필요하며, 단일 호출 또는 관리자 기반(--engine multiagent) 실행 방식을 선택할 수 있습니다.
대상 사용자
재학습 없이 코딩 모델의 정확도를 향상시키려는 연구자 및 실무자, 특히 자체 호스팅 가능한 오픈 웨이트 모델을 사용하여 저비용으로 최첨단 수준의 결과를 얻고자 하는 분들에게 적합합니다.
주요 특징
- 테스트된 모델 전반의 고정 백엔드에서 최대 25.6% 포인트 향상.
- 오케스트레이션된 Qwen3.8 Flash Next는 pass@1 93.0%를 기록하여 Claude Fable 5의 90.4%를 상회하며, 비용은 9% 수준임.
- 로컬에서 실행되는 Qwen3.8-27B는 pass@1이 66.8%에서 92.4%로 향상됨.
- 모든 모델에서 향상이 나타나는 것은 아니며, 일부 모델은 개선이 없거나 성능이 저하될 수 있음.
- 코드는 MIT 라이선스이며, 논문과 실행 데이터는 CC BY 4.0을 따름.
관련
- Dispatch
- 프로젝트
- 프로젝트
- Dispatch
- Dispatch