Dharma Field Extractor: Any Document In, Structured Fields in JSON Out

Overview

Dharma-AIは、ドキュメントから構造化データを抽出することに特化した20億パラメータのモデル「Dharma Field Extractor」を発表しました。ドキュメントの解析に複雑なプロンプトを必要とする汎用LLMとは異なり、このモデルはドキュメント画像から直接、型定義されたスキーマ準拠のJSONを出力するように構築されており、最先端のAPI代替製品と比較して、より高い精度と大幅に低い推論コストを実現しています。

機能とモード

Field Extractorは2つの異なるモードで動作し、ユーザーは柔軟性と厳格な出力要件のバランスをとることができます。

  • オープン抽出: モデルはスキーマを指定せずにドキュメントを分析し、レイアウトやコンテキストに基づいてキーと値のペアやテーブルヘッダーなどの構造化フィールドを特定し、結果をJSONとして返します。
  • スキーマ指定抽出: ユーザーは、目的のフィールド名、型（文字列、数値、またはブール値）、およびネスト構造を定義する特定のスキーマを提供します。モデルはドキュメントの内容をこれらのキーにマッピングし、欠落しているフィールドにはnullを返し、出力が後続のデータベース統合に必要な形式と一致することを保証します。

技術的基盤とトレーニング

このモデルは、教師ありファインチューニングと直接選好最適化（DPO）を通じて最適化された20億パラメータのアーキテクチャであるDharmaOCR-LITE v1.1に基づいています。その性能を達成するために、モデルは43,384件の例を含むデータセット上でLoRAアダプターを使用してトレーニングされました。トレーニングデータの構成には、主に3つのストリームが含まれています。

  • 英語のマルチドメインデータ: 公開されているWebドキュメントの広範なコレクション。
  • ブラジルのドメインデータ: ポルトガル語による実世界のドキュメント。
  • 多言語データ: さまざまなヨーロッパ言語およびアジア言語をカバーする代表的なサンプル。

このトレーニングアプローチでは、請求書、銀行取引明細書、身分証明書、フォームなど、多様なドキュメントタイプにわたるフィールドレベルのアノテーションを重視しています。

パフォーマンスとベンチマーク

546件のドキュメントと合計1,638件のテストケースを対象としたベンチマーク評価において、Dharma Field Extractorはいくつかの汎用的な最先端LLMを上回りました。評価では、フィールドレベルのF1スコア、値のレーベンシュタイン距離、および有効なJSON出力率が測定されました。このモデルは0.834のスコアを達成し、0.741から0.816の範囲であった最先端の構成を上回りました。

パフォーマンスを超えて、このモデルは大幅なコスト効率を提供します。単一のL40S GPUのようなインフラストラクチャ上でのセルフホスティングを想定して設計されているため、運用コストは、テストされた最先端のAPIモデルのトークン単価と比較して6倍から147倍低くなると推定されています。これは、境界が明確なドメイン固有のタスクにおいて、特化型の小型言語モデルが、より大規模な汎用モデルよりも優れた結果を提供できることを示しています。

Sources