StarTrail-org/LEANN

LEANN – RAG를 위한 초소형 개인정보 보호 우선 벡터 데이터베이스

개요 – LEANN(Lightweight Embedding‑Aware Nearest‑Neighbor)은 임베딩 벡터를 거의 저장하지 않는 오픈소스 벡터 검색 엔진입니다. 문서 청크의 그래프를 구축하고, 쿼리가 들어오면 즉석에서 임베딩을 재계산하며, 그래프를 가지치기하여 인덱스 크기를 매우 작게 유지합니다(저자들은 기존 벡터 DB 대비 약 97% 적은 저장 공간을 사용하면서도 검색 품질은 유지한다고 주장합니다).

중요성 – 기존 벡터 데이터베이스는 모든 고차원 임베딩을 디스크에 저장하므로, 수백만 개의 텍스트 청크를 처리할 경우 데이터 크기가 순식간에 수백 기가바이트로 불어납니다. LEANN의 온디맨드 재계산 방식을 사용하면 클라우드 비용 없이 완전한 개인정보 보호를 유지하면서 노트북 환경에서 전체 텍스트 규모의 RAG(검색 증강 생성) 파이프라인을 실행할 수 있습니다.

주요 기능

• 그래프 기반 선택적 재계산 – 쿼리 시점에 가장 필요한 임베딩만 재계산합니다.
• 고차수 보존 가지치기 – 재현율을 저하시키지 않으면서 탐색 그래프를 작게 유지합니다.
• 다중 백엔드 – 빠른 근사 최근접 이웃 검색을 위한 HNSW(기본값) 및 DiskANN을 지원합니다.
• 제로 텔레메트리, 로컬 전용 – 모든 데이터는 사용자 기기에 머무릅니다. LLM 제공업체를 명시적으로 사용하지 않는 한 OpenAI나 클라우드 호출이 필요하지 않습니다.
• MCP 통합 – 인덱스를 Model Context Protocol 서비스로 노출하여 다른 도구(Claude Code, Slack 봇 등)가 이를 쿼리할 수 있게 합니다.
• 광범위한 데이터 지원 – PDF, txt/md, Apple Mail, 브라우저 기록, 채팅 로그(WeChat, iMessage, ChatGPT, Claude), 실시간 데이터 스트림 및 코드베이스를 지원합니다.
• 플러그 앤 플레이 LLM 백엔드 – 생성 및 임베딩을 위해 OpenAI 호환 API, Ollama, HuggingFace, Anthropic 등을 지원합니다.

일반적인 워크플로우

1. 설치 – uv pip install leann (또는 커스텀 백엔드를 위해 소스에서 빌드).
2. 인덱스 구축 – LEANN에 문서 폴더를 지정하면 텍스트를 청크로 나누고 그래프를 구축한 뒤 .leann 파일을 생성합니다.
3. 검색 – LeannSearcher 또는 CLI를 호출하여 가장 관련성 높은 청크를 검색합니다.
4. 채팅 – 검색기를 LeannChat 및 LLM과 결합하여 데이터에 대해 자연어로 질문합니다.

from leann import LeannBuilder, LeannSearcher, LeannChat

# 1️⃣ Build
builder = LeannBuilder(backend_name="hnsw")
for txt in ["…", "…"]:
    builder.add_text(txt)
builder.build_index("mydata.leann")

# 2️⃣ Retrieve
searcher = LeannSearcher("mydata.leann")
print(searcher.search("What does LEANN save?", top_k=3))

# 3️⃣ Chat
chat = LeannChat("mydata.leann", llm_config={"type": "hf", "model": "Qwen/Qwen3-0.6B"})
print(chat.ask("How much storage does LEANN save?"))

성능 주장 – README에 따르면 6천만 개의 텍스트 청크를 인덱싱하는 데 약 6GB의 공간을 차지하며(기존 벡터 DB의 경우 200GB 이상), RAG 기반 코딩 에이전트가 ContextBench 제품군에서 BM25 기준 대비 2.1배 더 높은 관련 코드 재현율을 달성했다고 합니다.

추천 대상 –

• 개인 파일, 이메일 또는 코드를 위한 로컬, 개인정보 보호 RAG 저장소를 원하는 개발자.
• 클라우드 벡터 서비스 비용을 지불하지 않고 검색 전략을 실험하려는 연구자.
• 오프라인 또는 온디바이스(노트북이나 엣지 기기 등)에서 실행되어야 하는 AI 어시스턴트를 구축하는 팀.

시작하기 – 저장소를 복제하고, uv 가상 환경을 생성한 뒤 leann 패키지를 설치하고, 제공된 demo.ipynb 또는 README에 나열된 CLI 예제를 실행하세요. Ubuntu, Arch, macOS, Windows에 대한 상세한 OS별 빌드 지침이 포함되어 있습니다.

---

위의 모든 정보는 저장소의 README에서 직접 가져온 것이며, 외부 주장은 추가되지 않았습니다.