datalab-to/chandra

해결하는 문제

기존 OCR은 페이지 레이아웃을 잃어버리는 경우가 많고 손글씨, 수학, 표, 비라틴 문자 처리에 어려움을 겪습니다. Chandra OCR 2는 이미지와 PDF를 원래 레이아웃을 유지하는 구조화된 HTML, Markdown 또는 JSON으로 변환하여 문서를 편집 가능하고 검색 가능하며 기계가 읽을 수 있게 만듭니다.

작동 방식

Chandra OCR 2는 이미지 또는 PDF의 각 페이지를 처리하고 콘텐츠를 구조화된 형식으로 출력하는 딥러닝 모델입니다. 표, 양식, 수식, 이미지와 같은 레이아웃 요소를 감지하고 캡션과 구조화된 데이터를 추가합니다. 명령줄 인터페이스(CLI)를 통해 실행할 수 있으며 문서별로 Markdown, HTML 및 메타데이터 파일을 생성합니다. 또한 단일 페이지 처리를 위한 대화형 웹 앱을 제공합니다. 모델은 HuggingFace transformers를 사용하여 로컬에서 실행하거나 vLLM 서버에서 실행하여 배치 처리를 더 빠르게 할 수 있습니다.

대상 사용자

복잡한 레이아웃, 다국어 또는 손글씨가 포함된 대량의 문서를 디지털화해야 하는 개발자, 연구자 및 기업을 위한 것입니다. 연구, 개인 사용 및 자금 조달 또는 수익이 200만 달러 미만인 스타트업에게 무료입니다. 상업적 자체 호스팅에는 라이선스가 필요하며, 관리형 Datalab 플랫폼은 더 높은 정확도와 추가 기능을 갖춘 API를 제공합니다.

주요 특징

• 외부 olmocr 벤치마크에서 1위를 차지했으며 내부 다국어 벤치마크에서 상당한 개선을 보여줍니다.
• 90개 이상의 언어를 지원하며 손글씨와 수학 처리에 강합니다.
• 체크박스를 포함한 양식을 정확하게 재구성합니다.
• 자세한 레이아웃 정보가 포함된 Markdown, HTML 및 JSON을 출력합니다.
• 이미지와 다이어그램을 추출하고 캡션과 구조화된 데이터를 추가합니다.
• 로컬(HuggingFace) 및 원격(vLLM 서버)의 두 가지 추론 모드를 제공하여 배포 유연성을 제공합니다.
• CLI 및 대화형 Streamlit 웹 앱이 포함되어 있습니다.
• Apache 2.0 코드 라이선스, 모델 가중치는 OpenRAIL-M(연구 및 소규모 스타트업에게 무료)입니다.