amaiya/onprem

解决的问题

OnPrem.LLM 是一个注重隐私的工具包，专为在敏感的非公开数据上应用大型语言模型（LLM）而设计。它允许用户在离线或受限环境中运行 LLM，确保数据默认本地存储，同时在需要时仍可灵活集成云服务提供商。

工作原理

该工具包提供统一的 Python 接口，用于与各种 LLM 后端交互。支持通过 llama-cpp-python、Hugging Face transformers、Ollama 和 vLLM 进行本地执行，也支持 OpenAI 和 Anthropic 等云服务提供商。内置了用于文档摄入和问答的检索增强生成（RAG）支持，使用 Pydantic 实现结构化输出，并提供沙箱环境以安全执行 AI 代理。

适用人群

适用于需要在不牺牲隐私或安全性的前提下，使用 LLM 处理敏感文档的开发者和组织，尤其适合在计算资源有限的受限或隔离环境中运行的用户。

主要亮点

• 本地优先策略：完全本地执行，可选云集成。
• 多后端支持：兼容 llama-cpp-python、transformers、vLLM 以及 LiteLLM 支持的提供商。
• 文档智能：内置信息提取、摘要、分类和问答的处理管道。
• 沙箱代理：提供 AgentExecutor，可在受限环境中安全启动 AI 代理。
• 可视化工作流构建器：通过点按操作构建复杂文档分析流程的图形界面。
• 资源高效：包含 SparseStore 等模块，实现 RAG 无需预先存储嵌入向量。