Qwen2-Audio リリースノート
QwenはQwen2-Audioをリリースしました。これは音声とテキスト入力を受け取り、テキスト出力を生成する音声言語モデルです。このモデルは、別個の自動音声認識（ASR）モジュールを必要とせずに直接音声で対話でき、先進的な音声分析機能を提供します。
主な機能
Qwen2-Audioは主に3つの機能を提供します：
- Voice Chat: ユーザーは音声で直接指示を提供でき、モデルは中間のASRステップなしで音声コマンドに応答します。
- Audio Analysis: モデルはテキスト指示に基づき、音声、音楽、一般的な音など様々な音声タイプを分析できます。
- Multilingual Support: モデルは英語、中国語、広東語、フランス語、イタリア語、スペイン語、ドイツ語、日本語を含む8以上の言語と方言をサポートします。
パフォーマンスとベンチマーク
Qwen2-Audioは、元のQwen-Audioおよび他の最先端（SOTA）モデルを、複数のベンチマークデータセットで大幅に上回ります。ベンチマークには以下が含まれます：
- LibriSpeech
- Common Voice 15
- Fleurs
- Aishell2
- CoVoST2
- Meld
- Vocalsound
- AIR-Benchmark
技術アーキテクチャ
このモデルは、Qwen言語モデルと音声エンコーダからなる基盤を使用して構築されています。学習プロセスは3段階のシーケンスに従います：
- Multi-task Pretraining: 音声と言語のアラインメントに使用されます。
- Supervised Finetuning (SFT): 下流タスクの能力を習得するために使用されます。
- Direct Preference Optimization (DPO): モデルを人間の好みに合わせるために使用されます。
実装と使用方法
Qwen2-Audioは、Hugging Face の transformers ライブラリで公式にサポートされています。ユーザーはモデルを主に2つのモードで実装できます：
- Voice Chat Mode: 入力は音声のみで、モデルは音声内の指示を解釈します。
- Audio Analysis Mode: 入力は音声と特定のテキスト指示の組み合わせです。
オープンウェイト版（Qwen2-Audio-7B と Qwen2-Audio-7B-Instruct を含む）は、Hugging Face と ModelScope で入手可能です。
今後のロードマップ
Qwenは、以下の領域でQwen2-Audioの機能拡張を計画しています：
- Dataset Expansion: 30秒以上の音声ファイルをサポートするため、より大規模な事前学習データセットで訓練します。
- Model Scaling: 音声言語モデルのスケーリング法則をさらに探求するため、モデルの大規模版を開発します。