amaiya/onprem

OnPrem.LLM 是一个 Python 工具包，用于在离线或受限环境中将大型语言模型 (LLMs) 应用于敏感的非公开数据。它默认设计为完全在本地运行，但在需要时也支持云端 LLM 提供商 (OpenAI, Anthropic 等)。该项目灵感来自 privateGPT，专注于文档智能任务，如信息提取、摘要、分类、问答和 AI 代理。

主要功能包括：

• 本地优先执行，并可选云端集成。
• RAG (检索增强生成) 用于对您自己的文档进行问答，包括一个轻量级的 "SparseStore"，无需预先存储嵌入，使其可在普通硬件上使用。
• 支持多种 LLM 后端：llama.cpp, Hugging Face Transformers, Ollama, vLLM, OpenAI, Anthropic, 以及 AWS GovCloud Bedrock。
• 结构化输出，通过 Pydantic 模型实现。
• 沙盒 AI 代理 (AgentExecutor)，可以安全地执行文件分析等任务。
• 可视化工作流构建器，用于组装复杂的文档分析管道。
• 轻量级安装：基础包不再包含 PyTorch；可选的额外功能增加了本地嵌入、文档解析或网页 UI 等能力。

实际上，您可以从简单的提示开始，导入文档进行 RAG，在本地和云端模型之间切换，甚至运行代理——所有这些都通过一致的 Python API 完成。该项目强调隐私和灵活性，适合需要处理机密数据而不将其发送到外部服务的企业或个人。