Qwen2.5-VL リリースノート

Qwenは、Qwen2.5-VLのリリースを発表しました。これはQwen2-VLよりも大幅に進化したフラッグシップビジョン言語モデルです。このモデルは、3B、7B、72Bの3つのサイズで利用可能であり、Hugging FaceとModelScopeを通じてベース版とインストラクト版の両方が提供されます。

主な機能と特徴

Qwen2.5-VLは、複雑な視覚的推論とエージェント的挙動のために設計されたいくつかのハイレベルな機能を導入します：

• 視覚的エージェント挙動: モデルは、推論を行い、コンピュータと電話の使用のためにツールを動的に指示できる視覚的エージェントとして機能できます。
• 長時間ビデオ理解: Qwen2.5-VLは1時間を超えるビデオをサポートし、関連するビデオセグメントを特定することで特定のイベントをピンポイントで捉えることができます。
• 構造化出力生成: モデルは、請求書、フォーム、テーブルのスキャンから構造化データ（JSONなど）を生成し、商業および金融での利用を容易にします。
• 視覚的ローカライズ: バウンディングボックスまたはポイントを使用してオブジェクトを正確にローカライズし、座標と属性の安定したJSON出力を提供します。
• 高度な視覚理解: モデルは一般的なオブジェクトの認識に習熟しているだけでなく、複雑なテキスト、チャート、アイコン、グラフィック、レイアウトの分析にも長けています。

パフォーマンスベンチマーク

Qwen2.5-VLは、大学レベルの問題、数学、ドキュメント理解、ビデオ分析など、さまざまなドメインで競争力のあるパフォーマンスを示します。

• フラッグシップモデル (72B-Instruct): 最先端（SOTA）の競争力のあるパフォーマンスを達成し、図表とドキュメントの理解において大きな利点を示します。タスク固有のファインチューニングを必要とせず、視覚的エージェントとして機能できます。
• ミッドサイズモデル (7B-Instruct): いくつかのタスクでGPT-4o-miniを上回ります。
• エッジAIソリューション (3B): 前のQwen2-VLバージョンの7Bモデルを上回ります。

テクニカルディープダイブ: モデル機能

ドキュメント解析とテキスト認識

Qwen2.5-VLは、多言語、多方向、多シナリオのテキスト認識における性能が向上したアップグレードされたOCR機能を備えています。重要な革新点は、QwenVL HTML formatです。これはHTMLに基づいてレイアウト情報を抽出する独自のドキュメント解析形式であり、これによりモデルは雑誌、研究論文、ウェブページ、モバイルスクリーンショットを解析できます。

オブジェクトグラウンディングと画像認識

モデルはグラウンディングのためにバウンディングボックスとポイントベースの表現を使用し、階層的な位置決めを可能にします。画像認識は、植物、動物、ランドマーク、映画/TV IP、さまざまな商業製品など、幅広いカテゴリを含むように拡張されています。

ビデオ処理

時間的処理を強化するため、Qwen2.5-VLはdynamic frame rate (FPS) trainingとabsolute time encodingを実装します。これにより、モデルは秒レベルのイベント局所化を達成し、時間単位のスケールのビデオから重要なポイントを要約できます。

アーキテクチャの改善

Qwen2-VLと比較して、Qwen2.5-VLは空間と時間のスケールの認識方法を最適化し、視覚エンコーダーを効率化してより高い効率を達成します。

空間と時間の認識

• Spatial: モデルは異なるサイズの画像を長さの異なるトークンに動的に変換します。従来の座標正規化ではなく、画像の実際のサイズスケールを使用して座標（検出ボックスとポイント）を表現することで、モデルは画像スケールを直接学習できます。
• Temporal: ダイナミックFPSトレーニングと絶対時間エンコーディングにより、mRoPE idsが時間の速度に合わせられ、時間次元の間隔idを通じて時間のペースを学習できるようになります。

ビジュアルエンコーダーの最適化

Qwenはネイティブなダイナミック解像度ViTをスクラッチから訓練しました。計算負荷を軽減し、負荷の不均衡に対処するため、モデルはほとんどのレイヤーでWindow Attention（最大ウィンドウサイズ8x8）を採用し、わずか4レイヤーのみをFull Attentionに予約しています。ViTアーキテクチャも、LLMとの整合性を保つためにRMSNormとSwiGLU構造を使用するように更新されています。