StarTrail-org/LEANN

[MLsys2026]: RAG on Everything with LEANN. Enjoy 97% storage savings while running a fast, accurate, and 100% private RAG application on your personal device.

What it solves

LEANN은 개인 AI 시스템을 위해 설계된 경량 벡터 데이터베이스입니다. 기존 벡터 데이터베이스가 요구하는 높은 저장 용량 문제를 해결하여, 사용자는 비싼 클라우드 인프라 없이도 노트북에서 수백만 개의 문서를 인덱싱하고 검색할 수 있으며, 검색 정확성을 희생하지 않습니다.

How it works

LEANN은 graph-based selective recomputation(그래프 기반 선택적 재계산)과 high-degree preserving pruning(고차수 보존 프루닝)이라는 기술을 사용합니다. 텍스트의 수치 표현인 임베딩을 모두 저장하는 대신 필요할 때마다 계산하고, 프루닝된 그래프 구조를 활용해 저장 오버헤드를 최소화합니다. HNSW와 DiskANN을 포함한 여러 백엔드를 지원하며, OpenAI 호환 API를 통해 다양한 LLM 및 임베딩 제공자와 통합됩니다.

Who it’s for

개인 데이터(파일 시스템, 이메일, 브라우저 기록, 채팅 로그(WeChat, iMessage), 에이전트 메모리(ChatGPT, Claude) 등)를 로컬에서 안전하게 검색하고자 하는 개인을 위해 설계되었습니다. 완전한 프라이버시와 낮은 하드웨어 요구 사항을 유지합니다.

Highlights

  • Extreme Storage Efficiency: Claims to use 97% less storage than traditional solutions (e.g., indexing 60 million chunks in 6GB instead of 201GB).
  • Privacy-First: Data remains local on the user's laptop with no cloud dependency.
  • Broad Data Integration: Supports PDFs, text files, Apple Mail, browser history, and live data via the Model Context Protocol (MCP).
  • Claude Code Compatible: Functions as a semantic search MCP service for Claude Code.
  • Multimodal Support: Includes ColQwen for visual and text retrieval from PDFs.