Qwen2.5-Coder シリーズ リリースノート
Qwenは、幅広いモデルサイズにわたって最先端（SOTA）のオープンソースコーディング機能を提供するように設計された、コード特化型大規模言語モデルのファミリーであるQwen2.5-Coderシリーズをオープンソース化しました。フラッグシップモデルであるQwen2.5-Coder-32B-Instructは、GPT-4oと同等のコーディング性能を示し、オープンソースコードLLMの新たなベンチマークを確立しました。
Qwen2.5-Coder-32B-Instruct の SOTA コーディング機能
Qwen2.5-Coder-32B-Instructはシリーズのフラッグシップモデルであり、いくつかの重要なプログラミングの側面においてGPT-4oと競合する性能を示しています：
コード生成と修復
Qwen2.5-Coder-32B-Instructは、EvalPlus、LiveCodeBench、BigCodeBenchのベンチマークにおいてオープンソースモデルの中でトップの性能を発揮します。コード修復（既存コードのエラーを修正する能力）において、Aiderベンチマークで73.7点を獲得し、GPT-4oと同等の性能を示しています。
コード推論とマルチ言語サポート
このモデルは、コード実行のプロセスを学習して入力と出力を予測するコード推論において優れています。40以上のプログラミング言語をサポートし、McEvalベンチマークで65.9点を獲得します。この能力はマルチ言語コード修復にも及び、オープンソースモデルの中でMdEvalベンチマークで75.2点を獲得しトップとなりました。
ヒューマンプリファレンスへの適合
内部の「Code Arena」ベンチマーク（Arena Hardに類似）と評価モデルとしてGPT-4oを使用し、Qwen2.5-Coder-32B-Instructは他のオープンソースモデルと比較して人間の嗜好への適合性において優れていることを示しました。
多様なモデルサイズとスケーリング
Qwen2.5-Coderは、さまざまなハードウェア制約と開発者のニーズに対応するため、6つの異なるサイズで提供されます。各サイズは、ファインチューニング用のBaseモデルと、直接チャットでのやり取り用のInstructモデルの両方として提供されます。
| モデル | パラメータ数 | Non-Emb パラメータ数 | レイヤー数 | ヘッド数 (KV) | Tie Embedding | コンテキスト長 | ライセンス |
|---|---|---|---|---|---|---|---|
| Qwen2.5-Coder-0.5B | 0.49B | 0.36B | 24 | 14 / 2 | Yes | 32K | Apache 2.0 |
| Qwen2.5-Coder-1.5B | 1.54B | 1.31B | 28 | 12 / 2 | Yes | 32K | Apache 2.0 |
| Qwen2.5-Coder-3B | 3.09B | 2.77B | 36 | 16 / 2 | Yes | 32K | Qwen Research |
| Qwen2.5-Coder-7B | 7.61B | 6.53B | 28 | 28 / 4 | No | 128K | Apache 2.0 |
| Qwen2.5-Coder-14B | 14.7B | 13.1B | 48 | 40 / 8 | No | 128K | Apache 2.0 |
| Qwen2.5-Coder-32B | 32.5B | 31.0B | 64 | 40 / 8 | No | 128K | Apache 2.0 |
Evaluation on MBPP-3shot (for Base models) and the most recent four months of LiveCodeBench (for Instruct models) confirms a positive correlation between model size and performance, with Qwen2.5-Coder achieving SOTA performance across all available sizes.
実践的な応用と統合
Qwenは、以下の2つの主要な統合シナリオを通じてシリーズの実際のユーティリティに焦点を当てています：
AIコードアシスタント (Cursor)
Qwen2.5-Coderは、Cursorなどのコードアシスタントのための強力なオープンソース代替手段として設計されています。32Bモデルは、Humaneval-Infilling、CrossCodeEval、CrossCodeLongEval、RepoEval、SAFIMの5つのベンチマークにおいて、フィル・イン・ザ・ミドルモードでのSOTAコード補完能力を示しています。
ビジュアルアーティファクト (Open WebUI)
Open WebUIとの統合により、Qwen2.5-Coderはウェブサイト、ミニゲーム、データチャートなどのビジュアル作品である「Artifacts」を作成するために使用できます。Qwenはまた、これらのビジュアルアプリケーションのワンクリック生成をサポートするため、Tongyi公式ウェブサイトに専用のコードモードを立ち上げる予定です。