amaiya/onprem

解決的問題

OnPrem.LLM 是一個注重隱私的工具包，專為在敏感的非公開資料上應用大型語言模型（LLM）而設計。它允許使用者在離線或受限環境中執行 LLM，確保資料預設本地儲存，同時在需要時仍可靈活整合雲端服務提供者。

工作原理

該工具包提供統一的 Python 接口，用於與各種 LLM 後端互動。支援透過 llama-cpp-python、Hugging Face transformers、Ollama 和 vLLM 進行本地執行，也支援 OpenAI 和 Anthropic 等雲端服務提供者。內建支援用於文件攝入與提問的檢索增強生成（RAG），使用 Pydantic 實現結構化輸出，並提供沙箱環境以安全執行 AI 代理。

適用對象

適用於需要在不犧牲隱私或安全性的前提下，使用 LLM 處理敏感文件的開發者與組織，尤其適合在計算資源有限的受限或隔離環境中運行的使用者。

主要亮點

• 本地優先策略：完全本地執行，可選雲端整合。
• 多後端支援：相容 llama-cpp-python、transformers、vLLM 以及 LiteLLM 支援的提供者。
• 文件智能：內建資訊萃取、摘要、分類和問答的處理管道。
• 沙箱代理：提供 AgentExecutor，可在受限環境中安全啟動 AI 代理。
• 視覺化工作流建構器：透過點按操作建構複雜文件分析流程的圖形介面。
• 資源高效：包含 SparseStore 等模組，實現 RAG 無需預先儲存嵌入向量。