litellm：使用單一兼容 OpenAI 的 API 呼叫 100+ LLM 的統一 AI 閘道與 SDK

它解決了什麼問題

LiteLLM 簡化了管理多個大型語言模型（LLM）供應商的複雜性。開發者不必為每個供應商（如 OpenAI、Anthropic、Gemini）分別處理不同的 SDK、驗證方式與請求格式，只需使用統一的介面，便能以 OpenAI 格式呼叫超過 100 種 LLM。

工作原理

LiteLLM 有兩種實作方式：

1. Python SDK：直接整合到程式碼中的函式庫，讓你以一致的函式呼叫不同模型。
2. AI Gateway（代理伺服器）：可自行部署的集中服務，充當將請求轉換為各供應商專屬格式的代理，並提供企業級功能，如虛擬金鑰、花費追蹤、負載平衡與安全防護。

此外，它支援 A2A 協議以呼叫代理，並提供 MCP（Model Context Protocol）橋接，讓 MCP 伺服器能連接任意 LLM。

目標對象

使用多家 LLM 供應商的開發者與組織，想要避免供應商鎖定、在切換模型時減少程式碼重寫，並在團隊內實現 LLM 使用的集中管理。

重點特色

• 統一 API：一個介面即可呼叫 100+ LLM，免除各供應商專屬 SDK 的需求。
• OpenAI 相容性：即插即用的相容性讓你在不改寫程式碼的情況下切換供應商。
• 企業閘道：內建虛擬金鑰、花費追蹤與管理儀表板。
• 高效能：在 1k RPS 時達到 8ms P95 延遲。
• 代理與工具整合：支援 A2A 代理與 MCP 工具。

---

摘要： 一個開源的 AI 閘道與 Python SDK，提供統一的 OpenAI 格式介面，讓使用者能呼叫 100+ 不同的 LLM 供應商。

標題： litellm：使用單一兼容 OpenAI 的 API 呼叫 100+ LLM 的統一 AI 閘道與 SDK