BerriAI/litellm

解決的問題

LiteLLM 簡化了管理多個大型語言模型（LLM）供應商的複雜性。無需為每個模型處理不同的 SDK、驗證模式和請求格式，LiteLLM 提供單一整合介面，使用 OpenAI 格式呼叫超過 100 個 LLM 供應商。

工作原理

LiteLLM 可以透過兩種主要方式使用：

1. Python SDK：可直接整合至 Python 應用程式的函式庫，讓開發者使用一致的 API 呼叫各種模型。
2. AI 網關（代理伺服器）：一個集中式、可自行托管的服務，作為代理。它將 OpenAI 格式的請求轉換為目標 LLM 供應商的特定需求，讓團隊能在不重寫程式碼的情況下切換供應商。

此外，它還包含一個代理層，支援 A2A（代理到代理）協定、MCP（模型上下文協定）工具整合，以及用於在任何模型上執行特定 AI 代理（如 Claude Code 或 Codex）的工具。

適用對象

使用多個 LLM 供應商（如 OpenAI、Anthropic、Gemini 和 Bedrock）並希望避免供應商鎖定、集中管理 API 金鑰，並實現支出追蹤和負載平衡等生產級功能的開發者與組織。

主要亮點

• 統一 API：一個介面支援 100 多個 LLM，無需使用供應商特定的 SDK。
• OpenAI 兼容性：即插即用的相容性，便於輕鬆更換供應商。
• 企業級功能：透過 AI 網關支援虛擬金鑰、支出追蹤、防護機制和負載平衡。
• 低延遲：在 1k RPS 下實現 8ms 的 P95 延遲。
• 可擴展工具：支援 MCP 伺服器和 A2A 代理協定。