Idefics2 8B ビジョン・ランゲージモデルリリース – アーキテクチャ、データ、パフォーマンス

TL;DR

Idefics2 は、Hugging Face がリリースした 80 億パラメータのオープンソースビジョン・ランゲージモデルで、視覚的質問応答（VQA）や OCR タスクにおいて最先端の性能を発揮し、🤗 Transformers と完全に互換性があるため、簡単にファインチューニングできます。

Idefics2 の概要

Idefics2 は、テキストと画像の任意のシーケンスを受け取り、テキスト応答を生成する汎用マルチモーダルモデルです。画像に関する質問に答え、視覚コンテンツを説明し、複数画像のストーリーを作成し、文書から情報を抽出し、基本的な算術演算も行えます。モデルは Apache 2.0 ライセンスの下でリリースされており、自由に使用・再配布できます。

技術的ハイライト

モデルサイズとアーキテクチャ

  • Parameters（パラメータ）: 8 B。Idefics1（80 B）に比べて 10 倍に削減しながら、優れた性能を実現しています。
  • Backbones（バックボーン）: 言語側は Mistral‑7B‑v0.1、視覚側は SigLIP‑SO400M‑Patch14‑384 をベースにしており、どちらも Apache‑2.0 ライセンスです。
  • Vision Integration（ビジョン統合）: 画像は NaViT 戦略を用いてネイティブ解像度（最大 980 × 980）で処理され、固定サイズへのリサイズを回避します。非常に高解像度の入力に対しては、SPHINX/LLaVA‑NeXT アプローチに従ったオプションのサブ画像分割（4 分割）を行います。
  • Feature Fusion（特徴融合）: 視覚特徴はエンコードされ、学習された Perceiver によってプーリングされ、MLP で投影され、テキスト埋め込みと連結して交互シーケンスを構成します。これにより Idefics1 で使用されていたゲート付きクロスアテンションが置き換えられ、マルチモーダル相互作用が簡素化されます。

学習データ

Idefics2 は、公開されているデータセットの混合で事前学習されました。

  • Web documents（ウェブ文書）: Wikipedia と OBELICS データセット（ウェブ文書からの画像‑テキストペア）。
  • Image‑caption pairs（画像‑キャプションペア）: Public Multimodal Dataset と LAION‑COCO。
  • OCR data（OCR データ）: PDF‑A（英語）、IDL、Rendered‑Text データセット。
  • Image‑to‑code data（画像‑コードデータ）: WebSight。

指示チューニングのために、チームは The Cauldron を作成しました。これは、マルチターン会話向けにフォーマットされた 50 の手作業でキュレーションされたマルチモーダル指示データセットのオープンコレクションです。Idefics2 は、The Cauldron と標準的なテキストのみの指示データを併用してファインチューニングされました。

パフォーマンスベンチマーク

Idefics2 は、8B スケールのモデルの中でトップクラスの結果を達成し、はるかに大規模な商用システムとも競合します。代表的なマルチモーダルベンチマークでの主要スコア（数値が高いほど良い）は以下の通りです。

ベンチマーク Idefics2（分割なし） Idefics2（分割あり）
MMMU (val/test) 43.5 / 37.9 43.0 / 37.7
MathVista (test‑mini) 51.6 51.4
TextVQA (val) 70.4 73.0
MMBench (test) 76.8 76.7
VQAv2 (test‑dev) 80.8 81.2
DocVQA (test) 67.3 74.0

これらの結果により、Idefics2 は DeepSeek‑VL、LLaVA‑NeXT‑Mistral‑7B、LLaVA‑NeXT‑13B といった他のオープン 7B/13B モデルを上回り、Gemini 1.5 Pro や Claude 3 Haiku といったクローズドソースの大規模モデルに迫る性能を示しています。

Idefics1 からの新機能

  • Native‑resolution vision（ネイティブ解像度ビジョン）: NaViT スタイルで最大 980 × 980 の画像を処理し、ディテールとアスペクト比を保持します。
  • Enhanced OCR（強化 OCR）: OCR に特化した学習データを統合し、画像・チャート・文書中のテキストの文字起こしを改善します。
  • Simplified fusion（簡素化された融合）: ゲート付きクロスアテンションを Perceiver プーリングと MLP 投影に置き換え、よりシンプルなアーキテクチャと高速推論を実現しました。
  • Sub‑image splitting（サブ画像分割）: オプションの 4 分割により、性能を犠牲にせず非常に大きな画像を処理できます。

これらのアップグレードにより、前モデルより 10 倍小さい にもかかわらず、大幅な性能向上 が実現されています。

はじめに

Idefics2 は Hugging Face Hub にホストされており、最新の transformers リリースで即座に使用可能です。以下の Python スニペットは基本的な使用例を示しています。

import torch
from PIL import Image
from transformers import AutoProcessor, AutoModelForVision2Seq, load_image

DEVICE = "cuda:0"

# Load example images
image1 = load_image("https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg")
image2 = load_image("https://cdn.britannica.com/59/94459-050-DBA42467/Skyline-Chicago.jpg")

processor = AutoProcessor.from_pretrained("HuggingFaceM4/idefics2-8b")
model = AutoModelForVision2Seq.from_pretrained("HuggingFaceM4/idefics2-8b").to(DEVICE)

messages = [
    {"role": "user", "content": [{"type": "image"}, {"type": "text", "text": "What do we see in this image?"}]},
    {"role": "assistant", "content": [{"type": "text", "text": "In this image, we can see the Statue of Liberty in New York."}]},
    {"role": "user", "content": [{"type": "image"}, {"type": "text", "text": "And how about this image?"}]},
]

prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt, images=[image1, image2], return_tensors="pt")
inputs = {k: v.to(DEVICE) for k, v in inputs.items()}

generated_ids = model.generate(**inputs, max_new_tokens=200)
print(processor.batch_decode(generated_ids, skip_special_tokens=True)[0])

著者は、カスタムデータで Idefics2 をファインチューニングするための Colab ノートブックも提供しています。

リソース

  • Model cards（モデルカード）: idefics2-8b, idefics2-8b-base, idefics2-8b-chatty
  • Datasets（データセット）: The Cauldron, OBELICS, WebSight
  • Demo spaces（デモスペース）: Hugging Face Spaces 上のインタラクティブなプレイグラウンド
  • Paper（論文）: arXiv プレプリント 2405.02246

ライセンス

Idefics2 の重みは Apache 2.0 ライセンスでリリースされており、基盤となる Mistral‑7B と SigLIP バックボーンと同様のライセンスです。

コミュニティへの影響

高性能で完全にオープンソースの 8B ビジョン・ランゲージモデルのリリースは、マルチモーダル AI の研究や製品開発のハードルを下げます。モデルとキュレーションされた指示データセットの両方を提供することで、Hugging Face は大規模な商用システムのライセンス制約なしに、迅速なプロトタイピング、ファインチューニング、ベンチマークを可能にします。アーキテクチャの簡素化とネイティブ解像度処理は、将来のオープンモデルにおける効率的なマルチモーダル融合の新たなベンチマークを設定します。

Sources