datalab-to/lift

해결하는 문제

lift는 PDF 및 이미지에서 구조화된 JSON 데이터를 추출하도록 설계되었습니다. 모델이 따라야 할 특정 JSON 스키마를 사용자가 정의할 수 있게 함으로써, 비정형 문서 정보를 기계가 읽을 수 있는 형식으로 변환하는 문제를 해결합니다.

작동 원리

9B 비전 모델을 활용하여 문서(다중 페이지 PDF 포함)를 단일 패스로 처리합니다. 이 시스템은 스키마 제약 디코딩을 사용하여 출력이 제공된 스키마와 엄격하게 일치하는 유효한 JSON 객체임을 보장합니다. 사용자는 HuggingFace를 통해 로컬에서 모델을 실행하거나, vLLM 서버를 통해 최적화된 프로덕션 및 배치 처리를 수행할 수 있습니다.

대상 사용자

이 도구는 청구서나 보고서와 같은 문서에서 특정 필드를 자동으로 추출해야 하는 개발자 및 데이터 엔지니어, 그리고 다운스트림 애플리케이션을 위해 보장된 JSON 출력이 필요한 사용자를 위한 것입니다.

주요 특징

• Schema-Constrained Decoding: 사용자의 스키마와 일치하는 유효한 JSON 출력을 보장합니다.
• 다중 페이지 지원: 값이 여러 페이지에 걸쳐 있는 문서를 단일 패스로 처리합니다.
• 유연한 추론: 로컬 HuggingFace 실행 및 원격 vLLM 서버 배포를 모두 지원합니다.
• Schema Studio: 스키마를 구축하고 테스트하기 위한 Streamlit 기반의 대화형 앱이 포함되어 있습니다.
• 고성능: 여러 다른 모델과 비교하여 높은 필드 정확도와 낮은 지연 시간을 벤치마크로 입증했습니다.