Aya Vision: 8Bおよび32Bモデルによる多言語マルチモダリティの進歩

Cohere For AIは、8Bおよび32Bパラメータのオープンウェイトビジョン言語モデル（VLM）からなるAya Visionファミリーをリリースしました。これらのモデルは、23の異なる言語に高性能なマルチモーダル機能をもたらすように設計されています。これらのモデルは、マルチビジョン言語タスクにおいていくつかのより大きな競合モデルを上回り、多様な言語範囲における画像理解とテキスト生成の強固な基盤を提供します。

パフォーマンスベンチマーク

Aya Visionモデルは、AyaVisionBenchとmWildVisionという2つの主要ベンチマークにおいて、同様のサイズおよびはるかに大きなモデルよりも優れた性能を示します。

Aya Vision 32B

Aya Vision 32Bは、そのサイズの2倍以上のモデルを上回ります。ペアワイズ比較において、以下のモデルに対してAyaVisionBenchで50%から64%、mWildVisionで52%から72%（23言語で平均）の勝率を達成します：

  • Llama-3.2 90B Vision
  • Molmo 72B
  • Qwen2.5-VL 72B

Aya Vision 8B

Aya Vision 8Bは、コンパクトで効率的なモデルとして位置付けられ、そのパラメータクラスをリードします。Qwen2.5-VL 7B、Pixtral 12B、Gemini Flash 1.5 8B、Llama-3.2 11B Vision、Molmo-D 7B、Pangea 7Bなどのモデルを上回り、AyaVisionBenchでは最大79%、mWildBenchでは最大81%の勝率を達成します。

アーキテクチャとトレーニングパイプライン

Aya Visionは、ビジョンエンコーダ、コネクタ、多言語テキストデコーダを組み合わせたモジュラーアーキテクチャを使用し、任意の解像度の画像を処理します。

ビジョン処理とトークン圧縮

モデルはSigLIP2-patch14-384をビジョンエンコーダとして使用します。高解像度画像を扱うため、システムは画像を動的にリサイズし、複数のタイルに分割します。効率を維持しレイテンシを削減するため、Pixel Shuffleダウンサンプリング法を採用し、LLMデコーダに渡す前に画像トークンの数を4倍に圧縮します。

テキストデコーダの初期化

  • Aya Vision 8B: Cohere Command R7Bから初期化され、多言語データ、モデルマージ、および好みのトレーニングを含むAya Expanseレシピを使用してポストトレーニングされます。
  • Aya Vision 32B: Aya Expanse 32Bから初期化され、その最先端の多言語パフォーマンスを活用します。

2段階のトレーニングプロセス

  1. ビジョン言語アライメント: ビジョン言語コネクタのみをトレーニングし、ビジョンエンコーダと言語モデルの重みは凍結したままにします。これにより、画像エンコーダの特徴が言語モデルの埋め込み空間にマッピングされます。
  2. 教師ありファインチューニング（SFT）: コネクタと言語モデルの両方を、23言語にわたる多様なマルチモーダルタスクでトレーニングします。

多言語データの強化

代表されていない言語の実際のマルチモーダルデータの不足を克服するため、Cohere For AIは合成データパイプラインを実装しました：

  1. 合成アノテーション: 高品質な英語データセットを使用して合成アノテーションを生成します。
  2. 翻訳と言い換え: データを23言語に翻訳し、その後言い換えて翻訳アーティファクトを除去し、言語の流暢さを確保します。

このアプローチによりパフォーマンスが大幅に向上しました；8Bモデルでは、合成アノテーションとスケールされた多言語データを使用することで、Pangea 7Bに対するAyaVisionBenchでの勝率が40.9%から58.1%に上昇しました（17.2%の向上）。

マルチモデルマージ

会話および生成能力の高品質を維持しながらビジョン理解を獲得するため、Cohere For AIはベース言語モデルとファインチューンされたビジョン言語モデルをマージしました。この手法により、Pangea 7Bに対するAyaVisionBenchでのマルチモーダル勝率が11.9%向上し、合計勝率は70%に達しました。

さらに、マルチモデルマージにより、Aya VisionモデルはmArenaHardデータセットで測定されたテキスト専用タスクにおいて他の主要なVLMと比較して優れた性能を発揮します。

AyaVisionBench: 新しい多言語ベンチマーク

Cohere For AIは、AyaVisionBenchというオープンエンドのビジョン言語ベンチマークをリリースしました。このベンチマークは23言語と9つのタスクカテゴリをカバーし、各言語あたり135の画像質問ペアを含みます。ベンチマークは以下の能力を評価します：

  • 画像キャプションとOCR
  • チャートと図の理解
  • ドキュメント理解とテキスト転写
  • 論理および数学的推論
  • スクリーンショットからコードへの変換
  • 2つの画像間の違いの識別
  • 一般的な視覚質問回答

データセットは、トレーニングリークを防ぐためにCauldronのホールドアウトテストセットからの画像を使用して作成されました。質問は合成生成され、その後人間のアノテーターによって検証され、視覚コンテキストに本当に依存していることを確認しました。

実際の応用

Aya Visionはグローバルなアクセシビリティを目的として設計されており、現在WhatsAppで利用可能です。これにより、さまざまな言語のユーザーが広く使用されている通信プラットフォーム上でモデルのマルチモーダル機能と対話できます。

Sources