BerriAI/litellm

解决的问题

LiteLLM 简化了管理多个大型语言模型（LLM）提供商的复杂性。无需为每个模型处理不同的 SDK、认证模式和请求格式，LiteLLM 提供了一个统一的接口，使用 OpenAI 格式调用超过 100 个 LLM 提供商。

工作原理

LiteLLM 可以通过两种主要方式使用：

1. Python SDK：一个可直接集成到 Python 应用程序中的库，允许开发者使用一致的 API 调用各种模型。
2. AI 网关（代理服务器）：一个集中式、可自托管的服务，充当代理。它将 OpenAI 格式的请求转换为目标 LLM 提供商的具体要求，使团队能够在不重写代码的情况下切换提供商。

此外，它还包含一个代理层，支持 A2A（代理到代理）协议、MCP（模型上下文协议）工具集成，以及用于在任何模型上运行特定 AI 代理（如 Claude Code 或 Codex）的工具。

适用人群

使用多个 LLM 提供商（如 OpenAI、Anthropic、Gemini 和 Bedrock）并希望避免供应商锁定、集中管理 API 密钥，并实现支出跟踪和负载均衡等生产级功能的开发者和组织。

主要亮点

• 统一 API：一个接口支持 100 多个 LLM，无需使用供应商特定的 SDK。
• OpenAI 兼容性：即插即用的兼容性，便于轻松更换供应商。
• 企业级功能：通过 AI 网关支持虚拟密钥、支出跟踪、防护机制和负载均衡。
• 低延迟：在 1k RPS 下实现 8ms 的 P95 延迟。
• 可扩展工具：支持 MCP 服务器和 A2A 代理协议。