StarTrail-org/LEANN

[MLsys2026]: RAG on Everything with LEANN. Enjoy 97% storage savings while running a fast, accurate, and 100% private RAG application on your personal device.

What it solves

LEANN 是为个人 AI 系统设计的轻量向量数据库。它解决了传统向量数据库所需的大量存储空间问题，使用户能够在笔记本电脑上索引和搜索数百万文档，而无需昂贵的云基础设施，也不牺牲搜索准确性。

How it works

LEANN 使用一种称为 graph-based selective recomputation（基于图的选择性重新计算）和 high-degree preserving pruning（高阶保留剪枝）的技术。它不存储每个嵌入（文本的数值表示），而是按需计算，并使用剪枝后的图结构来最小化存储开销。它支持多种后端，包括 HNSW 和 DiskANN，并通过兼容 OpenAI 的 API 与各种 LLM 和嵌入提供商集成。

Who it’s for

它面向希望创建私有、本地 RAG（检索增强生成）系统的个人，用于语义搜索个人数据——如文件系统、电子邮件、浏览器历史、聊天记录（WeChat、iMessage）以及代理记忆（ChatGPT、Claude）——同时保持完整隐私和低硬件需求。

Highlights

  • Extreme Storage Efficiency: Claims to use 97% less storage than traditional solutions (e.g., indexing 60 million chunks in 6GB instead of 201GB).
  • Privacy-First: Data remains local on the user's laptop with no cloud dependency.
  • Broad Data Integration: Supports PDFs, text files, Apple Mail, browser history, and live data via the Model Context Protocol (MCP).
  • Claude Code Compatible: Functions as a semantic search MCP service for Claude Code.
  • Multimodal Support: Includes ColQwen for visual and text retrieval from PDFs.