NVIDIA Llama Nemotron Nano VL リリース

NVIDIA は、インテリジェント文書処理（IDP）と光学文字認識（OCR）向けに設計された 8B ビジョン言語モデル（VLM）である Llama Nemotron Nano VL のリリースを発表しました。このモデルは、請求書、領収書、契約書、財務諸表などの複雑な文書から情報を抽出・理解するよう最適化されており、現在 Hugging Face Hub で利用可能です。

技術アーキテクチャとイノベーション

Llama Nemotron Nano VL は、Llama-3.1-8B-Instruct 言語モデルと C‑RADIOv2‑VLM‑H Vision Transformer（ViT）を基盤に構築されています。この組み合わせにより、チャートやグラフ、複雑なレイアウトなど、さまざまな視覚要素を処理できるようになっています。

ビジョン基盤

C‑RADIOv2‑VLM‑H ViT がビジョンバックボーンとして機能し、文書の高解像度処理を実現します。主なイノベーションは次のとおりです。

  • High-Resolution Tiling: 空間的連続性や計算効率を犠牲にせず、高解像度入力をサポートするためにエンコードされたパッチ特徴を動的に集約する設計。
  • Multi-Resolution Training: 複数の蒸留手法と乗算ノイズを用いたマルチ解像度データで C‑RADIO を訓練し、汎化性能を向上。
  • Aspect Ratio Flexibility: 任意のアスペクト比の文書を処理でき、局所的なディテールと全体的なコンテキストを保持。小さなフォントや多列レイアウトの解析に重要です。

訓練手法

モデルは二段階の訓練プロセスを経ました。

  1. Pre-training: 言語領域とビジョン領域のクロスモーダル整合を Multi‑Layer Perceptron（MLP）コネクタで実施。約 150 万サンプル（公開データ、合成データ、社内キュレーションデータ）を使用。
  2. Supervised Fine-Tuning (SFT): OCR に特化したデータセットでエンドツーエンド学習。読み順予測、Markdown フォーマット復元、LaTeX の数式パースなどのタスクを含む。堅牢性確保のため、文書画像に対してアフィン変換とフォトメトリック増強を適用。

機能と性能

Llama Nemotron Nano VL は視覚的推論と文字認識に優れ、OCRBench v2 ベンチマークで業界トップクラスの性能を示します。また、ChartQA と AI2D ベンチマークでも高い結果を達成しています。

主な機能

  • Text and Table Extraction: 文書からテキストと表データを高精度で抽出。
  • Element Parsing: 表、チャート、画像など重要要素を正確に識別。
  • Grounding: クエリと出力の両方で正規化空間（0‑1000）のバウンディングボックス座標をサポートし、テキスト参照と解釈可能性を実現。
  • Multimodal Output Formats: プロンプトに応じて LaTeX、HTML、または markdown 形式で表を抽出可能。

エンタープライズ活用事例

レイアウト認識推論と単一 GPU での高効率を活かし、以下の領域で大規模エンタープライズ自動化を対象としています。

  • Finance and Accounting: 請求書や領収書から項目と合計金額を自動抽出し、ERP と連携。
  • Legal and Compliance: 契約書の重要条項をレビューし、身分証明書（パスポート、ID）を解析して KYC プロセスを支援。
  • Healthcare: 医療記録や保険申請書から患者データや請求情報を抽出。

デプロイとカスタマイズ

Llama Nemotron Nano VL は NVIDIA NIM API 経由および Hugging Face からダウンロード可能です。開発者は NVIDIA NeMo を使用して、独自のプロプライエタリデータセットに合わせたポストトレーニングやファインチューニングを行うことができます。

Sources