BerriAI/litellm

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

What it solves

LiteLLM 简化了管理多个大型语言模型（LLM）提供商的复杂性。与其为每个模型切换不同的 SDK、认证方式和请求格式，LiteLLM 提供单一、统一的接口，使用 OpenAI 格式即可调用超过 100 家 LLM 提供商。

How it works

LiteLLM 可以通过两种主要方式实现：

  1. Python SDK：直接集成到您的应用代码中的库。
  2. AI Gateway (Proxy Server)：一个集中式、自托管的服务，充当您的应用与各种 LLM 提供商之间的中间人，让您在不重写代码的情况下切换提供商。

它还包括 A2A（Agent-to-Agent）协议，用于调用代理，以及 MCP（Model Context Protocol）桥接，将 MCP 服务器连接到任何 LLM。

Who it’s for

使用多家 LLM 提供商（如 OpenAI、Anthropic、Gemini、Bedrock 等）的开发者和组织，想要避免供应商锁定、集中管理 API，并保持一致的 API 格式。

Highlights

  • Unified API：一个接口支持 100+ LLM，消除对供应商特定 SDK 的需求。
  • OpenAI Compatibility：即插即用的兼容性，轻松切换供应商。
  • Enterprise Features：包括虚拟密钥、支出追踪、负载均衡、护栏和管理员仪表板。
  • High Performance：低延迟（8ms P95，1k RPS）。
  • Agent & Tool Integration：支持 A2A 代理和 MCP 工具。