lumina-ai-inc/chunkr

해결하는 문제

Chunkr는 PDF, 파워포인트 프레젠테이션, 워드 문서, 이미지와 같은 복잡한 문서를 구조화된 LLM 대응 청크로 변환하기 위한 문서 인텔리전스 API입니다. 레이아웃 분석, OCR, 의미적 청크화를 처리함으로써 검색 증강 생성(RAG) 파이프라인에 고품질 데이터를 준비하는 문제를 해결합니다.

작동 방식

이 프로젝트는 레이아웃 분석, OCR(경계 상자 포함), 비전-언어 모델(VLM) 처리를 거치는 파이프라인을 통해 문서를 처리하는 프로덕션 준비된 서비스를 제공합니다. 원시 파일을 구조화된 HTML 및 마크다운 형식으로 변환한 후, LLM에서 사용할 수 있도록 의미적으로 청크화합니다. 오픈소스 버전은 커뮤니티 및 오픈소스 모델을 사용하지만, 관리형 클라우드 API 버전은 더 높은 정확도를 위해 전용 모델을 사용합니다.

대상 사용자

다양한 파일 형식에 대한 문서 파싱 및 청크화 프로세스를 자동화하고자 하는 개발자 및 AI 엔지니어를 위한 것입니다.

주요 특징

• 다양한 형식 지원: PDF, PPT, 워드 문서, 이미지 처리 가능.
• 구조화된 출력: LLM 소비에 적합한 HTML 및 마크다운 생성.
• 레이아웃 분석: 경계 상자 포함 레이아웃 분석 및 OCR 수행.
• 유연한 LLM 구성: models.yaml 설정 파일을 통해 OpenAI, Google AI Studio, OpenRouter, vLLM 또는 Ollama와 같은 자체 호스팅 옵션을 포함한 여러 LLM 제공업체 지원.
• Docker 준비: GPU, CPU 전용, Mac ARM 아키텍처를 지원하는 Docker Compose를 통해 간편한 배포 가능.