スタンフォード CS336 講義 17: マルチモーダル言語モデリング

マルチモーダルモデリングの概要

マルチモーダルモデルは、テキストからテキストへの能力を超えて、テキスト、画像、音声、動画など任意の組み合わせのモダリティを入力・出力できる「オムニモデル」へと進化することを目指しています。トランスフォーマーはこれらのモダリティ全体でスケール時に最も効果的なアーキテクチャであるため、主な技術的課題は非テキストデータをトランスフォーマーが処理できるトークン（離散的または連続的）に変換することです。

基礎: CLIP と SigLIP

最新のビジョン・ランゲージモデル（VLM）は、画像をテキストと互換性のある意味空間にマッピングするエンコーダに大きく依存しています。

CLIP（Contrastive Language Image Pre-Training）

CLIP はウェブ上の大量のノイズが多い画像-テキストペアを活用するよう設計されています。対照的な目的関数を使用し、画像-テキストペアのバッチが与えられたとき、正しいペア間の内積を最大化し、バッチ内の他のすべてのペアの内積を最小化します。

  • Architecture: CLIP は通常、画像エンコーダとして Vision Transformer（ViT）を使用し、画像をパッチ（例: 14x14）に分割してトークンとして処理します。テキストエンコーダは GPT-2 スタイルのトランスフォーマーです。
  • Key Result: CLIP は、オーガニックなウェブデータを活用することで、ゼロショット画像分類が ImageNet のような精選されたデータセットで訓練されたモデルを上回ることを示しました。
  • Limitation: CLIP はソフトマックス演算がバッチ全体に対して行われるため、非常に大きなバッチサイズ（例: 32,000）が必要であり、並列化や分割が困難です。

SigLIP（Sigmoid Loss for Language Image Pre-Training）

SigLIP は、マルチクラスのソフトマックス損失をよりシンプルなシグモイド損失に置き換えることで CLIP を改良します。画像をテキストのバッチと比較して順位付けする代わりに、各画像-テキストペアを二値分類問題（整合しているか否か）として扱います。

  • Efficiency: この変更により損失がバッチサイズから切り離され、より効率的な学習と小さなバッチサイズでも高い性能が得られます。
  • Parallelization: SigLIP はテキスト埋め込みをポッド全体で回転させてネガティブを計算することで、単一デバイスにフルバッチを必要とせず、デバイス間の分散を改善します。

ビジョン・ランゲージモデル（VLM）アーキテクチャ

ほとんどのオープンソース VLM はテンプレートに従います：事前学習されたビジョンエンコーダ、デコーダとしての言語モデル（LLM）、そしてビジョン埋め込みを LLM のトークンスペースにマッピングする「プロジェクタ」またはアダプタです。

LLaVA（Large Language-and-Vision Assistant）

LLaVA は CLIP エンコーダと Vicuna（Llama ベース）LLM を組み合わせる方法を示しています。

  • Data Synthesis: LLaVA は GPT-4 を使用して、MS COCO の人手で注釈されたキャプションに基づく合成会話、詳細な説明、複雑な推論を生成しました。
  • Training Stages:
    1. Alignment Phase: ビジョンエンコーダと LLM は凍結され、画像ベクトルをテキスト埋め込み空間にマッピングするプロジェクタ（線形行列 $W$）のみが訓練されます。
    2. Fine-tuning Phase: ビジョンエンコーダは凍結されたまま、プロジェクタと LLM が合成されたマルチモーダルデータ上で共同で訓練されます。

LLaVA OneVision と AnyRes

高解像度画像と OCR に対応するため、LLaVA OneVision は AnyRes を導入しました。画像を固定サイズの正方形（例: 336x336）にダウンサンプリングする代わりに、AnyRes は画像をエンコーダのネイティブ解像度の複数のクロップに分割し、得られたベクトルを連結します。これにより、モデルは細かなディテールを保持しつつ、異なる画像アスペクト比に適応できます。

Qwen-VL シリーズ

Qwen-VL とその後継（Qwen-2、Qwen-3）は VLM パイプラインをさらに洗練させました：

  • Dynamic Resolution: Qwen-2 は画像サイズに応じて可変数のトークンにマッピングし、パッチを圧縮してコンテキスト長を管理するシステムを実装しました。
  • Multimodal RoPE (M-RoPE): 3 次元の空間-時間データ（高さ、幅、時間）に対応するため、Qwen は多次元 Rotary Positional Embedding を使用します。Qwen-3 は次元を交互に配置することで、すべての軸が低周波数と高周波数の両方に曝露されるよう改善しました。
  • Explicit Timestamps: Qwen-3 は明示的な時間トークン（例: "0 seconds"）を導入し、モデルが動画の特定の瞬間を参照できるようにしました。
  • Deep Fusion: 単純なプロジェクタを使用する代わりに、後続バージョンではより高度なアダプタ（DeepStack）を使用し、ビジョン埋め込みを直接 LLM の残差ストリームに統合しました。

ネイティブマルチモーダリティ: Chameleon アプローチ

ほとんどの VLM がテキストのみを出力する「ステッチ」モデルであるのに対し、Meta の Chameleon はすべてをトークンに離散化することでネイティブなマルチモーダリティを試みています。

  • VQ-VAE（Vector Quantized Variational Autoencoder）: 画像は離散的なコードブック（例: 8,000 のプロトタイプベクトル）にマッピングされます。画像はテキストと同様に離散トークンのシーケンスになります。
  • Unified Training: 画像がトークンになることで、テキストであろうと画像であろうと次のトークンを予測する単一のトランスフォーマーを訓練できます。これにより、画像とテキストが交互に生成されます。
  • Challenges: このアプローチは、画像トークンのエントロピーがテキストトークンに比べて高いため訓練が不安定になりやすく、離散化により細かな情報（OCR の小さな文字など）が失われます。

技術的トレードオフの概要

機能 ステッチ VLM（LLaVA/Qwen） ネイティブマルチモーダル（Chameleon）
入力 連続埋め込み → Projector → LLM 離散トークン → LLM
出力 テキストのみ テキストと画像の交互生成
出力方法 LLM トークン予測 LLM トークン予測
情報損失 低 (連続エンコーダ) 高 (離散化)
訓練安定性 高 低 (エントロピー不一致)

Sources