BerriAI/litellm

解決的問題

LiteLLM 簡化了管理多個 LLM 提供商的複雜性。無需為每個模型處理不同的 SDK、驗證模式和請求格式，它提供了一個統一的介面，使用 OpenAI 格式呼叫超過 100 個 LLM 提供商。

工作原理

LiteLLM 可以透過兩種方式實現：

1. Python SDK：可直接整合至程式碼中的函式庫，允許您使用一致的語法呼叫各種模型（例如 GPT-4o、Claude Sonnet）。
2. AI 網關（代理伺服器）：一個可自托管的集中式服務。它作為代理，將請求轉換為特定提供者所需的格式，提供企業級功能，如虛擬金鑰、支出追蹤、負載平衡和防護機制。

此外，它還支援 A2A 協定以呼叫代理，並提供 MCP（模型上下文協定）橋接，將 MCP 伺服器連接到任何 LLM。

適用對象

使用多個 LLM 提供商，希望避免供應商鎖定、在更換模型時減少程式碼重寫，並集中管理團隊 LLM 呼叫的開發者與組織。

主要亮點

• 統一 API：一個介面支援 100 多個 LLM，無需使用特定供應商的 SDK。
• OpenAI 兼容性：即插即用的相容性，可在不重寫程式碼的情況下更換供應商。
• 企業級網關：包含虛擬金鑰、支出追蹤和管理儀表板。
• 高效率：在 1k RPS 下達到 8ms 的 P95 延遲。
• 支援代理與工具：支援 A2A 代理和 MCP 工具整合。