Hugging Face ビジョン言語モデル 2025 アップデート

Vision Language Models (VLM) は、シンプルな画像からテキストへのシステムから、複雑な推論や any-to-any モダリティ生成、物理世界との相互作用が可能な汎用的なマルチモーダルエージェントへと進化しました。現在の状況は、より小型で効率的なモデルへのシフト、Mixture-of-Experts（MoE）デコーダの統合、そしてマルチモーダル RAG やロボティクス制御といった専門的な機能の出現によって特徴付けられます。

新興モデルアーキテクチャとトレンド

VLM の最近の開発により、マルチモーダル AI の範囲を拡大するいくつかの新しいアーキテクチャパラダイムが導入されました。

Any-to-Any モデル

Any-to-any モデルは、任意の入力モダリティ（画像、テキスト、音声）を処理し、任意の出力モダリティを生成できます。これらのモデルは複数のエンコーダを使用して埋め込みを共有表現空間に融合し、そこから目的のモダリティへデコードします。代表的な例は以下の通りです：

  • Qwen 2.5 Omni: 「Thinker-Talker」アーキテクチャを採用し、"Thinker" がテキストを処理し、"Talker" がストリーミング自然音声を生成します。
  • MiniCPM-o 2.6: 8B パラメータのモデルで、ビジョン、音声、言語にまたがるコンテンツの理解と生成が可能です。
  • Janus-Pro-7B: 視覚エンコーディングを分離したアーキテクチャを備えており、理解プロセスと生成プロセスを分離します。
  • Chameleon (Meta): any-to-any 機能への初期的な試みで、後に Alpha-VLLM の Lumina-mGPT によって画像生成が追加されました。

マルチモーダル推論モデル

推論モデルは、長い chain-of-thought 処理を通じて複雑な問題を解くよう設計されています。Kimi-VL-A3B-Thinking は代表的な例で、MoonViT 画像エンコーダと Mixture-of-Experts（MoE）デコーダ（総パラメータ 16B、アクティブ 2.8B）を使用しています。これは、Kimi-VL 基礎モデルを長い chain-of-thought でファインチューニングし、強化学習で整合させたバージョンです。

小型かつ効率的な VLM

計算コストを削減し、消費者デバイス上でのローカル実行を可能にするために、"Smol" モデル（通常 2B パラメータ未満）への傾向が高まっています。

  • SmolVLM2: 特に動画理解を対象とし、256M、500M、2.2B パラメータのスケールで提供されます。
  • Gemma 3-4B-it: 最小級のマルチモーダルモデルの一つで、128k トークンのコンテキストウィンドウと 140 以上の言語をサポートします。
  • Qwen2.5-VL-3B-Instruct: ローカリゼーション、文書理解、エージェントタスクを 32k トークンのコンテキスト長で実行可能です。

Mixture-of-Experts（MoE）デコーダ

MoE アーキテクチャは、標準的な Feed-Forward Network（FFN）層を、最も関連性の高い「エキスパート」だけを選択的に活性化するルータに置き換えます。これにより、密結合モデルに比べて推論が高速化し、学習の収束も速くなりますが、GPU メモリの使用量は増加します。例として Kimi-VL、MoE-LLaVA、DeepSeek-VL2、Llama 4 が挙げられます。

Vision-Language-Action（VLA）モデル

VLA は、アクショントークンとステートトークンを追加することで VLM を拡張し、物理環境やデジタル UI を制御できるようにします。

  • π0 and π0-FAST: 7 つのプラットフォームと 68 のタスク（例：洗濯物の折りたたみ、物体の取得）で訓練されたロボティクス基礎モデルです。
  • GR00T N1 (NVIDIA): ヒューマノイドロボット向けの 2B 基礎モデルで、画像とテキストをリアルタイムの動作制御に変換します。

専門的なマルチモーダル機能

ローカリゼーション：検出、セグメンテーション、カウント

VLM は、ローカリゼーショントークンを含む構造化テキストを出力することで、従来のコンピュータビジョンタスクを一般化しています。

  • PaliGemma and PaliGemma 2: タスクプレフィックス（例："segment striped cat"）を使用して、バウンディングボックス座標やセグメンテーションマスク用のコードブックインデックスを出力します。
  • Molmo: ドットでインスタンスを指し示し、オブジェクトをカウントすることが可能です。
  • Qwen2.5-VL: 検出、指示、カウントをサポートし、UI 要素も含みます。

マルチモーダル安全モデル

脱獄や有害な出力を防止するために、マルチモーダル安全モデルは入力と出力の両方をフィルタリングします。

  • ShieldGemma 2: 特定のコンテンツポリシーに基づいて画像を評価するオープンな安全モデルです。
  • Llama Guard 4: Llama 4 Scout から剪定された、密結合のマルチモーダル・多言語安全モデルです。

マルチモーダル検索強化生成（RAG）

マルチモーダル RAG は、脆弱な PDF パースを回避し、マルチモーダルリトリーバーを用いてスクリーンショットから直接関連ページを特定します。

  • Document Screenshot Embedding (DSE): テキストと画像エンコーダを使用し、パッセージごとに単一ベクトルを返します。
  • ColBERT-like models (e.g., ColPali, ColQwen2): VLM を画像エンコーダ、LLM をテキストエンコーダとして使用し、テキストトークンと画像パッチ間の類似度を「MaxSim」で計算して高精度を実現します。

マルチモーダルエージェントと動画理解

GUI とデジタルエージェント

VLM はコンピュータやスマートフォンでの利用が増えています。UI-TARS-1.5（ByteDance）と MAGMA-8B は UI ナビゲーションと物理的インタラクション向けに設計されています。Hugging Face の smolagents ライブラリは VLM 統合をサポートし、エージェントが初期画像を受け取るか、コールバックを通じて動的にスクリーンショットを取得し、リアルタイムで GUI を制御できるようになっています。

ビデオ言語モデル

動画理解は、動画をフレームのシーケンスとして扱い、時間的関係を管理するさまざまな戦略で処理されます：

  • LongVU (Meta): DINOv2 を用いてフレームをダウンサンプリングし、類似フレームを除去し、テキストクエリに基づいてセットを洗練します。
  • Qwen2.5-VL: 拡張されたマルチモーダル RoPE を使用して絶対時間位置を理解し、動的な FPS レートに対応します。
  • Gemma 3: テキストプロンプト内にタイムスタンプと交互に配置された動画フレームを受け取ります。

アラインメントと評価

好み最適化

Direct Preference Optimization（DPO）は、VLM に適用され、人間の好みとモデルの応答を「選択」および「拒否」された回答ペアを用いて整合させています。RLAIF-V データセットはこの目的のために 83,000 件以上の注釈サンプルを提供し、trl ライブラリはこのワークフローを実装するための DPOTrainer を提供します。

高度なベンチマーク

モデルが従来のベンチマークで飽和するにつれ、専門レベルの知識と推論を評価する新しいツールが登場しています：

  • MMT-Bench: 画像、テキスト、動画、ポイントクラウドのモダリティを使用し、32 のメタタスク（OCR、視覚認識など）にわたる 31,325 の多肢選択問題を含みます。
  • MMMU-Pro: MMMU の進化版で、候補オプションを 4 から 10 に増やし、ビジョンのみの入力と実世界シミュレーションを含め、実際の表示条件を模倣します。

Sources