Granite 4.0 3B Vision リリースノート / 新機能

Granite 4.0 3B Vision リリースノート / 新機能

TL;DR

IBMは、エンタープライズ文書理解向けに特別に設計されたコンパクトなビジョン・ランゲージモデル（VLM） Granite 4.0 3B Vision をリリースしました。このモデルは、複雑な文書やフォームからテーブル、チャート、セマンティックなキー・バリュー・ペア（KVP）を高精度で抽出し、Granite 4.0 Micro 言語モデル上のモジュラー LoRA アダプタとして動作します。

エンタープライズ文書向けの主な機能

  • Table Extraction: 文書画像から、マルチ行・マルチ列形式を含む複雑なテーブル構造を解析します。
  • Chart Understanding: チャートや図を実行可能なコード、要約、または構造化された機械可読形式に変換します。
  • Semantic Key-Value Pair (KVP) Extraction: 多様な文書レイアウトにわたって、意味的に重要なフィールドペアを特定し、位置付けます。
  • General Vision-Language Tasks: 画像の詳細な自然言語記述を生成します。

技術アーキテクチャとトレーニング

このモデルの性能は、3つの主要な技術投資、すなわち専門的なデータセット、改良された特徴注入アーキテクチャ、そしてモジュラーなデプロイ戦略によって支えられています。

ChartNet: コード指向データ拡張

チャートにおける空間精度と数値推論を向上させるため、IBMは ChartNet という百万規模のマルチモーダルデータセットを開発しました。

ChartNet はコード指向の合成パイプラインを利用し、24種類のチャートタイプと6つのプロットライブラリにわたって 170 万件の多様なチャートサンプルを生成します。各サンプルは、プロットコード、レンダリングされた画像、データテーブル、自然言語要約、QA ペアの5つの整合した要素で構成されています。このアプローチにより、モデルは視覚表現と基礎となる構造化データとの関係を学習できます。

DeepStack: マルチレイヤー視覚特徴注入

標準的な VLM が視覚情報を単一のポイントで注入するのとは異なり、Granite 4.0 3B Vision は DeepStack アーキテクチャ の変種を使用します。この手法は、抽象的な視覚特徴を早期層にルーティングしてセマンティックな理解を行い、同時に高解像度の空間特徴を後期層に供給します。このデュアルストリームアプローチにより、レイアウトが重要なテーブルや KVP の正確なパースに必要な細かなディテールをモデルが保持できます。

モジュラー LoRA 設計

Granite 4.0 3B Vision は Granite 4.0 Micro デンス言語モデル上に LoRA アダプタ として実装されています。このモジュール性により、単一のデプロイでマルチモーダルとテキストのみのワークロードの両方を処理でき、ビジョン機能が不要な場合は自動的にベースの言語モデルにフォールバックします。

パフォーマンスベンチマーク

Granite 4.0 3B Vision は、いくつかの主要ベンチマークにおいて、はるかに大規模なモデルに対しても競争力のある性能を示しています。

チャート推論

ChartNet ベンチマークで LLM-as-a-judge を用いて評価した結果：

  • Chart2Summary: 評価されたすべてのモデルの中で最高スコア（86.4%）を獲得しました。
  • Chart2CSV: 62.1% のスコアで2位となり、Qwen3.5-9B モデル（63.4%）に次ぐ結果です。

テーブル抽出

構造と内容の正確性の両方を評価する TEDS によって、3つのベンチマークで測定しました：

  • PubTables-v2: クロップ版（92.1）とフルページ版（79.3）の両方で最高性能を示しました。
  • OmniDocBench-tables: 64.0 のリーディングスコアを達成しました。
  • TableVQA-extract: 88.1 のリーディングスコアを達成しました。

セマンティック KVP 抽出

VAREX ベンチマーク（複雑さが様々な 1,777 件の米国政府フォームで構成）において、モデルはゼロショット設定で 85.5% の完全一致（EM）精度 を達成しました。

デプロイと統合

Granite 4.0 3B Vision は Apache 2.0 ライセンスでリリースされ、主に以下の2つの方法でワークフローに統合できます：

スタンドアロン抽出

このモデルは個々の画像上で直接実行でき、フォームパーサやチャート解析ツールなどの軽量ツールに適しています。

Docling と統合したパイプライン

Docling と組み合わせることで、マルチページ PDF のエンドツーエンド文書理解に利用できます。このパイプラインでは、Docling が OCR とレイアウト解析を行い、視覚要素を検出・クロップします。その後、Granite 4.0 3B Vision に渡され、テーブルを HTML に変換したり、チャートを CSV に変換したりといった細かな抽出が行われます。

Sources