Qwen2.5-Coder 시리즈 릴리스 노트

Qwen은 코딩에 특화된 대형 언어 모델 제품군인 Qwen2.5-Coder 시리즈를 오픈소스로 공개했으며, 다양한 모델 크기에서 최첨단(SOTA) 오픈소스 코딩 기능을 제공하도록 설계되었습니다. flagship 모델인 Qwen2.5-Coder-32B-Instruct는 GPT-4o의 코딩 성능과 맞먹으며, 오픈소스 코드 LLM에 대한 새로운 벤치마크를 estabele시켰습니다.

Qwen2.5-Coder-32B-Instruct의 SOTA 코딩 기능

Qwen2.5-Coder-32B-Instruct는 시리즈의 주력 모델로, 여러 중요한 프로그래밍 차원에서 GPT-4o와 경쟁력 있는 성능을 보여줍니다:

코드 생성 및 수리

Qwen2.5-Coder-32B-Instruct는 EvalPlus, LiveCodeBench, BigCodeBench 벤치마크에서 오픈소스 모델 중 최고 성능을 달성했습니다. 코드 수리—기존 코드의 오류를 수정할 수 있는 능력—에서 모델은 Aider 벤치마크에서 73.7점을 기록하며 GPT-4o와 비슷한 성능을 보였습니다.

코드 추론 및 다중 언어 지원

이 모델은 코드 실행 과정을 학습하여 입력과 출력을 예측하는 코드 추론에서 뛰어납니다. 40개 이상의 프로그래밍 언어를 지원하며, McEval 벤치마크에서 65.9점을 기록했습니다. 이러한 능력은 다중 언어 코드 수리로 확장되며, MdEval 벤치마크에서 75.2점을 받아 오픈소스 모델 중 1위를 차지했습니다.

인간 선호도 일치

내부 'Code Arena' 벤치마크(Arena Hard와 유사)와 평가 모델로 GPT-4o를 사용하여, Qwen2.5-Coder-32B-Instruct는 다른 오픈소스 모델보다 인간 선호도와의 일치성이 더 뛰어남을 보여주었습니다.

다양한 모델 크기 및 스케일링

Qwen2.5-Coder는 다양한 하드웨어 제약과 개발자 요구를 충족하기 위해 여섯 가지不同的 크기로 제공됩니다. 각 크기는 파인튜닝을 위한 Base 모델과 직접 채팅 상호작용을 위한 Instruct 모델 두 가지 형태로 제공됩니다.

모델	파라미터 수	비임베딩 파라미터	레이어 수	헤드 수 (KV)	임베딩 타이	컨텍스트 길이	라이선스
Qwen2.5-Coder-0.5B	0.49B	0.36B	24	14 / 2	Yes	32K	Apache 2.0
Qwen2.5-Coder-1.5B	1.54B	1.31B	28	12 / 2	Yes	32K	Apache 2.0
Qwen2.5-Coder-3B	3.09B	2.77B	36	16 / 2	Yes	32K	Qwen Research
Qwen2.5-Coder-7B	7.61B	6.53B	28	28 / 4	No	128K	Apache 2.0
Qwen2.5-Coder-14B	14.7B	13.1B	48	40 / 8	No	128K	Apache 2.0
Qwen2.5-Coder-32B	32.5B	31.0B	64	40 / 8	No	128K	Apache 2.0

Base 모델에 대한 MBPP-3shot 및 Instruct 모델에 대한 최근 4개월간의 LiveCodeBench 평가를 통해 모델 크기와 성능 사이에 양의 상관관계가 있음을 확인했으며, Qwen2.5-Coder는 모든 제공된 크기에서 SOTA 성능을 달성했습니다.

실제 응용 및 통합

Qwen은 두 가지 주요 통합 시나리오를 통해 시리즈의 실제 유용성에 중점을 두었습니다:

AI 코드 어시스턴트 (Cursor)

Qwen2.5-Coder는 Cursor와 같은 코드 어시스턴트를 위한 강력한 오픈소스 대안으로 설계되었습니다. 32B 모델은 특히 Humaneval-Infilling, CrossCodeEval, CrossCodeLongEval, RepoEval, SAFIM 다섯 가지 벤치마크에서 Fill-in-the-Middle 모드의 SOTA 코드 완성 기능을 보여줍니다.

시각적 아티팩트 (Open WebUI)

Open WebUI와의 통합을 통해 Qwen2.5-Coder는 웹사이트, 미니게임, 데이터 차트와 같은 시각적 작품인 'Artifacts'를 생성하는 데 사용할 수 있습니다. Qwen은 또한 Tongyi 공식 웹사이트에 전용 코드 모드를 출시하여 이러한 시각적 애플리케이션의 원클릭 생성을 지원할 계획입니다.}