litellm：统一的 AI 网关和 SDK，使用单一兼容 OpenAI 的 API 调用 100+ LLM

它解决了什么问题

LiteLLM 简化了管理多个大型语言模型（LLM）提供商的复杂性。无需为每个提供商（如 OpenAI、Anthropic 和 Gemini）分别处理不同的 SDK、认证方式和请求格式，它提供了一个统一的接口，使用 OpenAI 格式即可调用超过 100 种 LLM。

工作原理

LiteLLM 可以通过两种方式实现：

1. Python SDK：直接集成到代码中的库，允许使用一致的函数调用来调用不同的模型。
2. AI 网关（代理服务器）：可自行托管的集中式服务。它充当代理，将请求转换为相应提供商的格式，并提供企业级功能，如虚拟密钥、费用跟踪、负载均衡和安全防护。

此外，它还支持 A2A 协议用于调用代理，并提供 MCP（模型上下文协议）桥接，以将 MCP 服务器连接到任何 LLM。

适用人群

使用多个 LLM 提供商的开发者和组织，希望避免供应商锁定、在切换模型时减少代码重写，并实现团队范围内的 LLM 使用集中管理。

亮点

• 统一 API：一个接口覆盖 100+ LLM，消除对特定供应商 SDK 的需求。
• OpenAI 兼容性：即插即用的兼容性，使得在不重写代码的情况下切换供应商。
• 企业网关：包括虚拟密钥、费用跟踪和管理员仪表盘。
• 高性能：在 1k RPS 下实现 8ms P95 延迟。
• 代理与工具集成：支持 A2A 代理和 MCP 工具。