kyotofin/tax-doc-classifier

解決する問題

税務文書を特定のIRSフォームとページタイプに分類する高効率な方法を提供します。高価で遅いLLMベースの分類パイプラインを、大幅に安価（34倍）で高速（6倍）な決定モデルアプローチに置き換え、より多くのフォームライブラリ（261 vs 30）をサポートします。

仕組み

このシステムはTypeSafe Jevを使用します。これは、テキストを生成するのではなく、一連のオプションに対する確率を返す決定モデルです。

1. テキスト抽出：PDFページはpdftotext（poppler）を使用してテキストに変換されます。
2. 分類：テキストはJevに送信され、公式のIRS PDFから直接生成されたIRSフォームの説明を含むJSON基準ファイル（criteria.json）と比較されます。
3. 階層ロジック：まずページの種類（例：フォームページ、説明、空白）とフォームIDを決定します。複雑な企業または外国のフォームの場合、特定のスケジュールを識別するために2番目のリクエストが行われます。
4. 信頼度ゲーティング：システムはformConfidenceスコアを提供します。ユーザーはしきい値（例：0.95）を設定して、結果を信頼するか、別の方法にフォールバックするかを決定できます。

対象読者

税務ソフトウェアや財務文書処理パイプラインを構築する開発者で、汎用LLMの高コストと遅延なしに、大規模に連邦IRSフォームを正確に識別する必要がある方。

ハイライト

• コストと速度：コストを1ページあたり約$0.001、レイテンシを1ページあたり約0.5秒に削減します。
• 広範なカバレッジ：261のIRSフォームと7つのページ種類をサポートします。
• 自動化された基準：criteria.jsonファイルは、公式のIRS XLSXおよびPDFソースから自動生成されます。
• モデル非依存：jevBackendが同梱されていますが、Backendインターフェースにより、ラベル付きオプションに対して校正された確率を返す他のモデルが可能です。