modelscope/sirchmunk

解决的问题

传统的检索系统依赖于静态向量嵌入，构建成本高昂，容易过时，且会丢失原始数据的上下文。Sirchmunk 消除了对向量数据库和复杂预处理流水线的需求，让您可以直接在原始文件上进行搜索和对话，实现零信息丢失。它还能保持索引的实时性：随着数据的变化，系统会随之演进，无需批量重新索引即可保持洞察的及时性。

工作原理

Sirchmunk 使用名为 LENS (Latent Evidence Navigation and Search) 的框架直接处理原始数据。它不将所有内容转换为向量，而是通过多种并行路径（词法、实体、目录、结构和跨文档主题映射）执行代理式搜索，然后使用置信度加权评分融合结果。它仅在必要时使用大语言模型 (LLMs) 以降低成本，并通过严格的 token 预算保持每次查询的高效性。该系统还构建了通过四阶段循环自我演进的知识集群：连接与合并、边缘刷新、元集群检测和全局更新。这使得搜索既具有确定性又具备上下文感知能力，且答案直接链接到源证据。

适用人群

Sirchmunk 专为需要从大型本地存储库或网络规模数据中进行快速实时检索，且无需向量基础设施开销的开发者和 AI 代理构建者而设计。它特别适用于将搜索集成到基于 LLM 的应用程序中的用户（通过 Python SDK、CLI、HTTP API 或 Model Context Protocol (MCP)），以及探索检索评估的研究人员。它还提供了一个用于交互式探索和聊天的 Web UI。

亮点

• 无需 EmbeddingDB：没有向量嵌入，没有向量数据库；无需预处理即可直接搜索原始文件。
• 自我演进的知识库：索引和知识集群随数据变化自动更新，无需手动重新索引即可保持最新。
• 预算控制的证据探索：LENS 通过仅在需要时消耗 token 来平衡全面性和成本，并提供可配置的 DEEP 和 FAST 搜索模式。
• 实时且可扩展：处理海量数据集时具有极低的 RAM/CPU 消耗和原生的弹性支持。
• 代理就绪：完全支持 MCP 服务器、兼容 OpenAI 的 LLM 集成、流式 API 以及与 OpenClaw 等工具的兼容性。
• 开发者友好：提供 Python SDK、CLI 命令 (init, search, serve, web, mcp)、Web UI、Docker 镜像以及研究基准测试框架。