xberg-io/xberg

The fast, precise document-intelligence engine for every language: text, tables and metadata from 100+ formats, with OCR, transcription and code intelligence.

해결하는 문제

Xberg는 다양한 파일 형식에서 구조화된 데이터를 추출하기 위해 여러 라이브러리의 복잡한 파이프라인을 구성할 필요를 없애기 위해 설계된 포괄적인 문서 지능 엔진입니다. 방대한 문서, 이미지, 오디오 및 웹 콘텐츠 전반에 걸쳐 형식 감지, 읽기, OCR 및 콘텐츠 추출을 위한 단일화된 통합 인터페이스를 제공합니다.

작동 방식

이 엔진은 파일의 MIME 유형 식별부터 콘텐츠 추출까지 전체 수집 과정을 처리합니다. 107가지 문서 형식(PDF, Office 파일, 전자책 포함), 여러 백엔드(Tesseract, PaddleOCR, Candle 또는 VLM)를 통한 OCR, Whisper ONNX를 사용한 음성-텍스트 변환을 지원합니다. 또한 URL 크롤링, 중첩된 아카이브의 재귀적 추출, 371개 프로그래밍 언어에 대한 구문 인식 청킹(chunking)을 수행할 수 있습니다. 추출된 콘텐츠는 Markdown 및 JSON을 포함한 6가지 형식으로 출력할 수 있습니다.

대상 사용자

RAG(검색 증강 생성) 파이프라인, AI 에이전트 또는 다양한 소스에서 고정밀 문서 파싱 및 구조화된 데이터 추출이 필요한 애플리케이션을 구축하는 개발자.

주요 특징

  • 방대한 형식 지원: 학술 인용, 이메일, 데이터베이스를 포함한 141개의 파일 확장자, 107가지 형식을 처리합니다.
  • 다중 언어 바인딩: Rust, Python, Node.js, Go, Java, C#, Ruby, PHP, Elixir, Dart, Swift, Zig, WASM, Kotlin 등 15개 언어를 지원합니다.
  • AI 준비 기능: 로컬 또는 호스팅된 LLM을 통한 임베딩, 리랭킹, NER, 요약 및 스키마 기반 JSON 추출을 내장 지원합니다.
  • 유연한 배포: 라이브러리, CLI 도구, REST API 또는 MCP 서버로 실행할 수 있으며 기본적으로 CPU 최적화가 적용되어 있습니다.
  • 고급 레이아웃 분석: ML 모델을 사용하여 읽기 순서와 표 그리드를 재구성하여 깔끔한 Markdown을 출력합니다.

관련

  • 프로젝트
    firecrawl/anydoc

    LLM 수집 및 에이전트 워크플로우를 위해 다양한 오피스 문서 형식을 깔끔하고 일관된 Markdown으로 변환하는 고성능 Rust 라이브러리입니다.

  • Dispatch
    Hugging Face 문서 AI 가속화

    Hugging Face는 오픈소스 멀티모달 모델을 활용하여 기업 워크플로우에서 문서 분류, 파싱 및 시각적 질문 응답을 자동화하는 포괄적인 가이드를 제공합니다.

  • 프로젝트
    docling-project/docling

    Docling은 많은 문서 유형(PDF, Word, 슬라이드, 스프레드시트, HTML, 전자책, 오디오, 비디오, 이메일 등)을 통합되고 구조화된 표현으로 파싱하는 오픈 소스 Python 라이브러리/CLI입니다. 레이아웃, 표, 코드, 수식, 이미지 및 음성-텍스트를 추출한 다음 Markdown, HTML, JSON, DocLang, DocTags 등으로 내보냅니다. 생성형 AI 워크플로우에 맞게 설계되어 LangChain, LlamaIndex, Crew AI, Haystack과의 플러그 앤 플레이 통합을 제공하며, 개인 정보 보호에 민감한 데이터를 위한 로컬 실행을 지원합니다.

  • 프로젝트
    PaddlePaddle/PaddleOCR

    PaddleOCR는 이미지나 PDF를 구조화된 LLM 대응 텍스트, 표, 마크다운/JSON으로 변환하는 오픈소스 OCR 및 문서 AI 툴킷입니다. PP-OCRv6를 통한 다국어 장면 텍스트 인식 모델과 PaddleOCR-VL / PP-StructureV3를 통한 경량 시각-언어 모델을 제공하며, 최고 수준의 정확도, 빠른 CPU/GPU 추론, Docker에서 브라우저 SDK까지 다양한 배포 옵션을 갖추고 있습니다. Dify 및 RAGFlow와 같은 RAG 플랫폼과 통합되어 AI 에이전트 및 검색 증강 생성 파이프라인의 데이터 엔진으로 활용됩니다.

  • 프로젝트
    DocAILab/XRAG

    XRAG는 RAG(검색 증강 생성)를 위한 오픈소스 벤치마킹 프레임워크입니다. 사용자가 리트리버, 임베딩, LLM, 오케스트레이터와 같은 개별 RAG 구성 요소를 고전적 IR 지표와 LLM 기반 품질 점수로 평가할 수 있게 해줍니다. 기능으로는 모듈식 플러그인 아키텍처, OpenAI, Ollama, Hugging Face 모델 지원, CLI, 대화형 테스트용 웹 UI, REST API 서비스가 포함됩니다. pip로 설치하고 TOML 파일로 구성한 후 벤치마크를 실행하거나 합성 QA 데이터를 생성할 수 있습니다. RAG 시스템을 구축하거나 비교하는 연구자와 엔지니어에게 이상적입니다.