BerriAI/litellm

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

What it solves

LiteLLM 簡化了管理多個大型語言模型（LLM）供應商的複雜性。與其為每個模型切換不同的 SDK、驗證方式與請求格式，LiteLLM 提供單一、統一的介面，使用 OpenAI 格式即可呼叫超過 100 家 LLM 供應商。

How it works

LiteLLM 可以透過兩種主要方式實作：

  1. Python SDK：直接整合到您的應用程式碼中的函式庫。
  2. AI Gateway (Proxy Server)：一個集中式、自行託管的服務，充當您的應用程式與各種 LLM 供應商之間的中介，讓您在不重新編寫程式碼的情況下切換供應商。

它同時包含 A2A（Agent-to-Agent）協定，用於呼叫代理，以及 MCP（Model Context Protocol）橋接，將 MCP 伺服器連接至任何 LLM。

Who it’s for

使用多家 LLM 供應商（例如 OpenAI、Anthropic、Gemini、Bedrock 等）的開發者與組織，想要避免供應商鎖定、集中管理 API，並維持一致的 API 格式。

Highlights

  • Unified API：一個介面支援 100+ LLM，省去各供應商專屬 SDK 的需求。
  • OpenAI Compatibility：即插即用的相容性，讓供應商切換變得簡單。
  • Enterprise Features：包含虛擬金鑰、花費追蹤、負載平衡、保護機制與管理儀表板。
  • High Performance：低延遲（8ms P95，1k RPS）。
  • Agent & Tool Integration：支援 A2A 代理與 MCP 工具。