BerriAI/litellm

解决的问题

管理不同提供商的 LLM 调用非常复杂，因为每个提供商都有自己的 SDK、身份验证方法和请求格式。本项目提供了一个统一的接口，允许开发人员在 100 多个 LLM 提供商（如 OpenAI、Anthropic、Gemini 和 Bedrock）之间切换，而无需重写代码。

工作原理

它既是一个 Python SDK，也是一个自托管的 AI Gateway（代理服务器）。Python SDK 允许直接进行库集成，而代理服务器则充当集中式服务。它将各种特定于提供商的 API 转换为标准的兼容 OpenAI 的格式。该网关包含生产就绪的功能，如虚拟密钥、支出跟踪、负载均衡和防护栏。

适用对象

它专为需要将多个 LLM 集成到应用程序中、管理 API 成本或在不同 AI 服务之间保持一致接口的开发人员和组织而设计。

亮点

• 针对 100 多个 LLM 提供商的统一 API，无需处理多个 SDK。
• 与 OpenAI 的 API 格式直接兼容。
• 生产就绪功能，包括支出跟踪、虚拟密钥和负载均衡。
• 高性能，在每秒 1k 次请求下 P95 延迟为 8ms。
• 支持高级功能，如 MCP (Model Context Protocol) 工具、代理工具包和 A2A (Agent-to-Agent) 协议。