StarTrail-org/LEANN

[MLsys2026]: RAG on Everything with LEANN. Enjoy 97% storage savings while running a fast, accurate, and 100% private RAG application on your personal device.

What it solves

LEANN 是為個人 AI 系統設計的輕量向量資料庫。它解決了傳統向量資料庫所需的大量儲存空間問題，讓使用者能在筆記型電腦上索引與搜尋數百萬文件，而不必依賴昂貴的雲端基礎設施，也不會犧牲搜尋精準度。

How it works

LEANN 採用稱為 graph-based selective recomputation（基於圖形的選擇性重新計算）以及 high-degree preserving pruning（高階保留剪枝）的技術。它不會儲存每一個嵌入向量（文字的數值表示），而是按需計算，並利用剪枝後的圖結構來最小化儲存開銷。它支援多種後端，包括 HNSW 與 DiskANN，並可透過相容 OpenAI 的 API 與各種 LLM 與嵌入提供者整合。

Who it’s for

此工具適合想要建立私密、本地 RAG（檢索增強生成）系統的個人，用於語意搜尋個人資料——如檔案系統、電子郵件、瀏覽器歷史、聊天記錄（WeChat、iMessage）以及代理記憶（ChatGPT、Claude）——同時確保完整隱私與低硬體需求。

Highlights

  • Extreme Storage Efficiency: Claims to use 97% less storage than traditional solutions (e.g., indexing 60 million chunks in 6GB instead of 201GB).
  • Privacy-First: Data remains local on the user's laptop with no cloud dependency.
  • Broad Data Integration: Supports PDFs, text files, Apple Mail, browser history, and live data via the Model Context Protocol (MCP).
  • Claude Code Compatible: Functions as a semantic search MCP service for Claude Code.
  • Multimodal Support: Includes ColQwen for visual and text retrieval from PDFs.