Qwen の紹介：包括的な LLM と LMM フレームワーク
Qwen は、人工汎用知能（AGI）の実現を目指すプロジェクトであり、大規模言語モデル（LLM）と大規模マルチモーダルモデル（LMM）を統合しています。エコシステムには、ベース言語モデル、チャット最適化バージョン（Qwen-Chat）、コーディング向けドメイン固有モデル（Code‑Qwen）や数学向けモデル（Math‑Qwen）、ビジョン向けマルチモーダル拡張（Qwen‑VL）およびオーディオ向け拡張（Qwen‑Audio）が含まれます。
基本モデルのアーキテクチャとスケーリング
Qwen は次トークン予測を用いて事前学習された Transformer ベースの言語モデルです。開発はモデルサイズとデータ量の両方のスケーリングに重点を置き、安定性と性能を確保しています。
モデルのバリエーションと仕様
開発された 5 つのモデルのうち 4 つはオープンソース化されており、仕様は以下の通りです。
| Model | Release Date | Max Length | System Prompt Enhancement | Pretrained Tokens | Min GPU Memory (Q‑Lora Finetuning) | Min GPU Usage (2048 Tokens Int4) | Tool Usage |
|---|---|---|---|---|---|---|---|
| Qwen-1.8B | 23.11.30 | 32K | ✓ | 2.2T | 5.8GB | 2.9GB | ✓ |
| Qwen-7B | 23.08.03 | 32K | ✐ | 2.4T | 11.5GB | 8.2GB | ✓ |
| Qwen-14B | 23.09.25 | 8K | ✐ | 3.0T | 18.7GB | 13.0GB | ✓ |
| Qwen-72B | 23.11.30 | 32K | ✓ | 2.2T | 61.4GB | 48.9GB | ✓ |
多言語対応とトークナイゼーション
Qwen は多言語モデルとして設計されており、英語と中国語で高い性能を示すとともに、スペイン語、フランス語、そして日本語でも一定の熟練度を持ちます。これは、複数言語に対して高圧縮率を実現する高効率トークナイザーにより、情報のエンコードが最適化されているためです。
コンテキスト長と外挿
オープンソースの Qwen モデルのほとんどは 32K トークンのコンテキスト長をサポートしています。これは、より長いコンテキスト長での継続的事前学習と、Rotary Positional Embeddings（RoPE）の基底値を増加させた結果です。L‑Eval と “Needle in a Haystack” テストによる評価で、長いコンテキストウィンドウを扱えることが確認されています。
ベンチマーク比較では、Qwen‑72B‑Chat（32K）が平均スコア 62.30 を取得し、ChatGPT‑3.5‑16k（60.73）を複数カテゴリで上回りました。特に TOEFL（86.24 対 78.43）や QuALITY（77.22 対 61.38）で顕著です。
アラインメントと事後トレーニング
Qwen は、教師ありファインチューニング（SFT）と人間のフィードバックによる強化学習（RLHF）の 2 段階アラインメントプロセスを採用しています。
教師ありファインチューニング (SFT)
アラインメントは SFT から始まり、チームはデータの多様性と複雑性に注力し、instag や tulu 2 といったデータセットを活用しています。品質は手動チェックと自動評価の組み合わせで維持されています。
人間のフィードバックによる強化学習 (RLHF)
SFT モデルを基盤に、Qwen は PPO ベースの RLHF を実装しています。トレーニングの不安定性に対処するため、チームは大規模比較データで事前学習された信頼性の高い報酬モデルを開発し、高品質で慎重にラベル付けされた比較データでファインチューニングしました。その結果、RLHF モデルは創造性が高く、指示遵守能力も SFT のみのモデルを上回ります。
ツール使用とエージェント機能
Qwen は ReAct フォーマットに基づき、思考と行動を生成することでエージェントとして機能するよう設計されています。これにより、トレーニング時に見たことのないツールでも、インコンテキスト学習を通じて指示やデモンストレーションを理解し、使用できるようになります。
サポートされるフレームワーク
- Function Calling: 特定の関数を直接実行します。
- Code Interpreter: 複雑なデータ分析に使用します。
- Hugging Face Agent: 画像生成など、多様な出力を持つ各種 AI モデルと統合します。
AgentFabric
GPT の概念に倣い、Qwen は AgentFabric を導入しました。これは、シンプルなチャットベースの設定プロセスを通じて、ユーザーが専門的な AI エージェントを作成できるフレームワークです。
Sources
- OriginalIntroducing Qwen