Qwen1.5 リリースノート / 新機能

Qwenは、さまざまなサイズとMoEバージョンを備えたオープンソースのベースモデルとチャットモデルのシリーズであるQwen1.5をリリースしました。人間の好み合わせ、多言語性能、そして全体的な開発者体験の向上を目的としています。このリリースは、モデルを直接Hugging Face transformers ライブラリに統合し、カスタムリモートコードの必要性をなくし、主要なデプロイおよびファインチューニングフレームワークとの互換性を拡大した点で重要です。

モデルの提供とエコシステム統合

Qwen1.5は、0.5B、1.8B、4B、7B、14B、32B、72B、110Bの8つのサイズのベースモデルとチャットモデルに加えて、Mixture-of-Experts（MoE）モデルを提供します。多様なデプロイ環境をサポートするため、ラボはInt4およびInt8 GPTQ、AWQ、GGUF形式の量子化バージョンも提供しています。

開発者体験の改善

Qwen1.5の主な技術的変化は、コードをHugging Face transformers（バージョン4.37.0以降）に統合したことです。これにより、開発者は trust_remote_code=True を設定せずにモデルをロードできます。

Qwen1.5は、以下のエコシステムでもネイティブにサポートされています:

  • Deployment: vLLM (>=0.3.0) と SGLang (>=0.1.11)。
  • Quantization: AutoAWQ と AutoGPTQ。
  • Finetuning: Axolotl と LLaMA-Factory。
  • Local Inference: llama.cpp、Ollama、LMStudio。
  • API Services: DashScope と together.ai。

技術的能力とパフォーマンス

すべてのQwen1.5モデルは、最大32,768トークンのコンテキスト長を統一的にサポートします。このシリーズは、言語理解、コーディング、推論、数学の各分野で高いパフォーマンスを示します。

基本ベンチマーク

Qwen1.5-72Bは、MMLU、C-Eval、GSM8K、MATH、HumanEval、MBPP、BBHを含むすべての評価ベンチマークでLlama2-70Bを上回ります。7B未満の小規模モデルについては、Qwen1.5-0.5B、1.8B、4Bが、他のコミュニティの小型言語モデル（SLM）に対して非常に競争力のある代替案として位置付けられます。

人間好み合わせ

Qwen1.5のチャットモデルは、Direct Policy Optimization（DPO）とProximal Policy Optimization（PPO）を用いて合わせられました。MT-BenchとAlpacaEval 2.0の結果によると、Qwen1.5-72B-ChatはClaude-2.1、GPT-3.5-Turbo-0613、Mixtral-8x7b-instruct、TULU 2 DPO 70Bを上回り、Mistral Mediumと同等の性能を示します。

多言語能力

ベースモデルは、ヨーロッパ、東アジア、東南アジアの12言語で評価されました。パフォーマンスは、試験、理解、翻訳、数学の4つの側面で測定されました。Qwen1.5-72Bは、アラビア語、スペイン語、フランス語、日本語、韓国語、タイ語などの言語で高い能力を示します。

長コンテキスト性能

L-Evalベンチマークで評価したところ、Qwen1.5-72B-ChatはGPT3.5-turbo-16kを大幅に上回り、GPT4-32kに続く性能を示します。小型のQwen1.5-7B-Chatでさえ、5つのL-Evalタスクのうち4つでGPT-3.5と競合します。

外部システム統合とエージェント機能

Qwen1.5-Chatモデルは、Retrieval-Augmented Generation（RAG）と関数呼び出しを通じて外部知識と統合し、AIエージェントのワークフローに対応するよう設計されています。

RAG とツール使用

  • RAG: RGBベンチマークでは、Qwen1.5-72B-Chatは英語と中国語の両方で強い性能を示し、特にリジェクションと統合タスクで優れています。
  • Tool Selection: ツール使用ベンチマークでは、Qwen1.5-72B-Chatはツール選択と入力精度でGPT-4に近い性能を示します。
  • Agent Performance: T-Evalベンチマークでは、Qwen1.5-72B-Chatは英語と中国語で高得点を獲得し、特に計画と検索で優れています。

コードインタプリタ

Qwen1.5-72B-Chatは一般的なコードインタプリタタスク（正確率87.9%）で良好な性能を示すものの、専門的な数学問題解決や可視化タスクではGPT-4に遅れを取っています。Qwenチームは、今後のバージョンで事前学習と合わせの段階でコーディング能力を強化することを優先課題としています。

Sources