litellm：它是什麼、解決了什麼問題以及為何受到關注

它解決了什麼

LiteLLM 解決了管理多個 LLM 供應商的複雜性。開發者不必為每個模型切換不同的 SDK、認證方式與請求格式，只要使用 OpenAI 的格式，即可透過單一、統一的介面呼叫超過 100 家 LLM 供應商。

它如何運作

它主要有兩種模式：

1. Python SDK：直接整合於 Python 應用程式的函式庫。
2. AI Gateway（代理伺服器）：一個集中式、自行託管的服務，充當應用程式與各種 LLM 供應商之間的中介，讓您在不改寫程式碼的情況下切換模型。

適用對象

使用多家供應商（如 OpenAI、Anthropic、Gemini、Bedrock）提供的 AI 模型，且希望避免供應商鎖定、降低整合成本的開發者與組織。

重點特色

• 統一 API：一次介面即可使用 100+ LLM。
• OpenAI 相容性：可直接取代 OpenAI 格式的呼叫。
• 企業功能：包含虛擬金鑰、花費追蹤、負載平衡與安全防護。
• Agent 與工具整合：支援 A2A Agent 協議與 MCP（Model Context Protocol）工具。
• 高效能：在 1k RPS 時，P95 延遲僅 8ms。

---

摘要： LiteLLM 是一個開源的 AI Gateway 與 Python SDK，提供統一且相容 OpenAI 格式的介面，讓使用者能呼叫 100 多家不同的 LLM 供應商。

標題： litellm：它是什麼、解決了什麼問題以及為何受到關注