忠実な文書抽出のための olmOCR のファインチューニング

TNG は、内部文書処理ワークフローを自動化するために、olmOCR モデルのファインチューニング版を開発しました。特に重要なヘッダーとフッター情報の欠落に対処しています。この変更により、olmOCR は主に LLM のトレーニングデータ生成に使用されていたツールから、ビジネスアプリケーション向けに文書全体のテキストを取得できる忠実な OCR エンジンへと変わります。

パイプラインベースおよびオリジナルの olmOCR システムの制限

従来のパイプラインベース OCR エンジンは、セクション分割、表解析、文字認識のために連鎖した機械学習コンポーネントに依存しています。このアプローチの根本的な欠陥は、コンテキストを論理的な読順（リニアリゼーション）に平坦化できないことです。特に、マルチカラムテキスト、浮動図、ヘッダー、フッターを含むレイアウトが豊富な文書では問題となります。

Vision Language Model（VLM）である olmOCR のようなモデルはリニアリゼーション問題に対処しますが、オリジナルの olmOCR-7B-0225-preview は olmOCR-mix-0225 データセットで学習されており、このデータセットは次トークン予測のために自然な読順を保つ目的でヘッダーとフッターを意図的に除外しています。その結果、オリジナルモデルは請求書解析などのビジネスユースケースでしばしば重要となる余分な情報を無視してしまいます。

ファインチューニングプロセスとデータセット生成

忠実な OCR エンジンを作成するために、TNG は Qwen2.5-VL-72B-Instruct を使用して、ヘッダーとフッターを含むすべての関連情報を捉えた 8,000 件の合成文書データセットを生成しました。

トレーニング構成

  • Base Model: olmOCR-7B-0225-preview
  • Hardware: 8xH100 Nvidia node
  • Training Pipeline: オープンソースの olmOCR トレーニングパイプライン
  • Hyperparameters: デフォルトのハイパーパラメータを使用し、勾配蓄積ステップを 4 に設定しました
  • Duration: 2.5 エポック
  • Tracking: 実験のトラッキングは MLflow を使用して実施しました

評価のために、TNG はカスタマイズされた olmOCR-mix-0225 評価データセットを使用し、これらにも Qwen2.5-VL-72B-Instruct によって生成されたヘッダーとフッター情報が追加されました。

機能とパフォーマンス比較

ファインチューニングされたモデルは「ドキュメントアンカリング」プロンプト戦略を採用しており、生デジタルコンテンツを保持するために、ラスタライズ画像と共に VLM に提示する生テキストブロックと位置情報を抽出します。

定性的評価により、ファインチューニングされたモデルがオリジナルの olmOCR-7B-0225-preview をいくつかの重要な領域で上回っていることが示されています。

  • Header and Footer Extraction: モデルは現在、文書の上部と下部に位置する重要な情報（例：請求書）を抽出でき、オリジナルモデルが以前は無視していたものです。
  • Layout Preservation: モデルは複雑なマルチカラムレイアウトやシンプルな表を解析する能力を維持します。
  • Faithfulness: モデルは以前は「余分」データと見なされていたものも含め、すべてのテキストを取得し、下流のビジネスタスクで重要な情報が欠落しないようにします。

TNG は、推論時に使用する temperature 設定により出力品質が大きく変動することを指摘しています。

利用可能性

ファインチューニングされたモデルはオープンソース化され、tngtech/olmOCR-7B-faithful として Hugging Face で利用可能です。

Sources