SoMarkAI/OXR
An open-source document parsing model with SOTA accuracy and speed, using an RSI loop during post-training.
해결하는 문제
PDF나 스캔된 이미지와 같은 문서는 AI 에이전트가 직접 읽기 어렵습니다. OXR은 이를 구조화된 기계 친화적 데이터(Markdown 또는 JSON)로 변환하는 동시에 레이아웃 좌표를 제공하여, 후속 도구들이 각 콘텐츠가 페이지의 어디에 위치하는지 알 수 있게 합니다. 이를 통해 개발자는 사용자 지정 파싱 파이프라인을 구축할 필요가 없으며, 문서 데이터를 자동화 워크플로우에서 바로 사용할 수 있게 됩니다.
작동 방식
OXR은 문서 파싱을 위해 처음부터 학습된 1.3B 파라미터의 소형 모델입니다. 두 개의 독립적인 구성 요소를 사용합니다. 영역(표, 그림, 텍스트 등)을 식별하는 레이아웃 분석 모델과, 콘텐츠를 추출하고 읽기 순서를 결정하는 OXR 인식 모델입니다. 이러한 분리형 설계 덕분에 필요에 따라 자체 레이아웃 모델로 교체할 수 있습니다. 사후 학습 과정에서 OXR은 재귀적 자기 개선(RSI) 루프를 사용하여, 사람의 주석 없이도 자신의 약점이나 잘못된 출력을 자동으로 수정하여 성능을 향상시킵니다.
이 시스템은 13가지 요소 유형(표, 수식, 화학 구조, 코드 블록 등)에 대한 콘텐츠를 바운딩 박스와 함께 출력합니다. A3 시험지, 손글씨 메모, 세로 쓰기 텍스트와 같은 까다로운 레이아웃도 지원합니다.
대상 사용자
AI 에이전트, RAG 파이프라인 또는 기타 자동화를 위해 문서를 구조화된 데이터로 변환해야 하는 개발자 및 팀. 로컬에서 실행하거나 무료 API(테스트용)를 통해 액세스할 수 있으며, 도메인별 레이아웃 요구 사항에 맞게 사용자 지정할 수 있는 빠르고 정확한 오픈소스 파서를 찾는 모든 분들에게 적합합니다.
주요 특징
- #1 랭킹: 3개의 문서 파싱 벤치마크(olmOCR-Bench, OmniDocBench, DocParsingBench)에서 1위를 차지했으며, 특히 표 파싱 분야에서 압도적인 성능을 보여줍니다.
- 플러그인 가능한 레이아웃 분석: 내장된 레이아웃 모델은 인식 및 읽기 순서 기능을 잃지 않고 교체할 수 있습니다.
- 속도 중심 설계: 1.3B 파라미터만으로 RTX PRO 6000에서 최고 수준의 파싱 속도를 달성합니다.
- 무료 API: 가입 없이 빠르게 테스트 가능(프로덕션 환경에서의 사용은 권장하지 않음).
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트