chonkie-inc/chonkie

🦛 CHONK docs with Chonkie ✨ — The lightweight ingestion library for fast, efficient and robust RAG pipelines

What it solves

Chonkie는 Retrieval‑Augmented Generation(RAG) 파이프라인을 위한 텍스트 청킹 과정을 단순화하고 가속화하도록 설계된 경량 인제스트 라이브러리입니다. 개발자가 처음부터 커스텀 청커를 만들 필요를 없애고, 크고 무거운 라이브러리와 관련된 오버헤드를 줄여줍니다.

How it works

Chonkie는 다양한 청킹 전략과 파이프라인 시스템을 제공하여 원시 텍스트에서 벡터 데이터베이스로의 데이터 흐름을 관리합니다. 주요 구성 요소는 다음과 같습니다.

Chunkers: 고정 크기 토큰 청킹, SIMD 가속 바이트 기반 청킹, 문장 기반, 재귀적, 의미 유사도, 신경망/LLM 기반 분할 등 다양한 텍스트 분할 방법.
Pipelines: 청킹, 정제(예: 임베딩 추가 또는 겹치는 청크 병합) 및 내보내기 단계를 연결해 재사용 가능한 워크플로우를 구성하는 시스템.
Integrations: 벡터 데이터베이스(예: ChromaDB, Pinecone, Qdrant), 임베딩 제공자(예: OpenAI, Cohere, Gemini), 토크나이저(예: tiktoken, Hugging Face)를 위한 광범위한 "핸드쉐이크" 생태계.
API Server: 로컬 SQLite 데이터베이스에 설정을 저장하고, 청킹 파이프라인을 서비스 형태로 실행할 수 있는 자체 호스팅 REST API.

Who it’s for

빠르고 효율적이며 다국어(56개 언어 지원) 텍스트 분할 도구가 필요하고 기존 AI 인프라와 원활히 통합하려는 RAG 애플리케이션 개발자를 위한 솔루션입니다.

Highlights

Diverse Chunking Methods: 코드, 표, 의미적 내용에 특화된 청커 포함.
High Performance: 경쟁 제품에 비해 훨씬 빠르고 패키지 크기가 작다는 벤치마크 결과가 있습니다.
Pipeline API: 동기 및 비동기 처리를 모두 지원해 고처리량 애플리케이션에 적합.
Extensive Integrations: 벡터 스토어, LLM, 임베딩 모델을 아우르는 45개 이상의 통합 제공.
Agent‑Ready: Claude Code와 Cursor 같은 AI 코딩 에이전트를 위한 공식 스킬 및 플러그인 제공.