kyotofin/tax-doc-classifier

해결하는 문제

세금 문서를 특정 IRS 양식 및 페이지 유형으로 분류하는 고효율 방법을 제공합니다. 비싸고 느린 LLM 기반 분류 파이프라인을 결정 모델 접근 방식으로 대체하여 비용은 훨씬 저렴하고(34배) 빠르며(6배), 훨씬 더 많은 양식 라이브러리(261개 vs 30개)를 지원합니다.

작동 방식

이 시스템은 텍스트를 생성하는 대신 옵션 집합에 대한 확률을 반환하는 결정 모델인 TypeSafe Jev를 사용합니다.

1. 텍스트 추출: PDF 페이지는 pdftotext(poppler)를 사용하여 텍스트로 변환됩니다.
2. 분류: 텍스트는 Jev로 전송되며, Jev는 공식 IRS PDF에서 직접 생성된 IRS 양식 설명이 포함된 JSON 기준 파일(criteria.json)과 비교합니다.
3. 계층적 논리: 먼저 페이지 종류(예: 양식 페이지, 지침, 빈 페이지)와 양식 ID를 결정합니다. 복잡한 기업 또는 외국 양식의 경우 특정 일정을 식별하기 위해 두 번째 요청이 이루어집니다.
4. 신뢰도 게이팅: 시스템은 formConfidence 점수를 제공합니다. 사용자는 임계값(예: 0.95)을 설정하여 결과를 신뢰할지 또는 다른 방법으로 폴백할지 결정할 수 있습니다.

대상 사용자

일반 목적 LLM의 높은 비용과 지연 시간 없이 대규모로 연방 IRS 양식을 정확히 식별해야 하는 세무 소프트웨어 또는 재무 문서 처리 파이프라인을 구축하는 개발자.

주요 특징

• 비용 및 속도: 페이지당 약 $0.001, 페이지당 약 0.5초의 지연 시간으로 비용을 절감합니다.
• 광범위한 범위: 261개의 IRS 양식과 7가지 페이지 종류를 지원합니다.
• 자동화된 기준: criteria.json 파일은 공식 IRS XLSX 및 PDF 소스에서 자동으로 생성됩니다.
• 모델 비종속: jevBackend가 포함되어 있지만, Backend 인터페이스를 통해 레이블이 지정된 옵션에 대해 보정된 확률을 반환할 수 있는 다른 모델을 사용할 수 있습니다.