StarTrail-org/LEANN

[MLsys2026 Best Paper]: https://arxiv.org/abs/2506.08276. RAG on Everything with LEANN. Enjoy 97% storage savings while running a fast, accurate, and 100% private RAG application on your personal device.

解决的问题

LEANN 是一个轻量级向量数据库,旨在在个人硬件上实现高性能的检索增强生成(RAG)。它解决了传统向量数据库存储需求过高的问题,使用户无需牺牲搜索准确性,即可在笔记本电脑上索引数百万份文档。

工作原理

LEANN 采用了一种称为基于图的选择性重计算的技术,结合高阶保持剪枝。它不存储每条数据的每个嵌入向量,而是按需计算嵌入。同时,通过智能图剪枝和压缩稀疏行(CSR)格式,最大限度地减少了图结构本身的存储开销。

适用人群

专为希望创建一个私有的本地 AI 助手的个人设计,该助手能够对其个人数据(如文件系统、电子邮件、浏览器历史记录、聊天记录(WeChat、iMessage)、代理记忆(ChatGPT、Claude)等)进行语义搜索,而无需依赖云服务或昂贵硬件。

主要亮点

  • 极致存储效率:相比传统向量数据库,存储需求最多减少 97%(例如:6000 万个片段仅需 6GB,而传统方式需 201GB)
  • 隐私优先:完全在本地设备上运行,确保数据不会离开设备
  • 广泛集成:支持多种数据源,且完全兼容作为 Claude Code 的语义搜索 MCP 服务
  • 灵活后端:支持多种嵌入和 LLM 提供商,包括 Ollama、LM Studio 等本地引擎,以及云 API

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目