BerriAI/litellm

解决的问题

LiteLLM 简化了管理多个 LLM 提供商的复杂性。无需为每个模型处理不同的 SDK、认证模式和请求格式，它提供了一个统一的接口，使用 OpenAI 格式调用超过 100 个 LLM 提供商。

工作原理

LiteLLM 可以通过两种方式实现：

1. Python SDK：一个可直接集成到代码中的库，允许您使用一致的语法调用各种模型（例如 GPT-4o、Claude Sonnet）。
2. AI 网关（代理服务器）：一个可自托管的集中式服务。它作为代理，将请求转换为特定提供方所需的格式，提供企业级功能，如虚拟密钥、支出跟踪、负载均衡和防护机制。

此外，它还支持 A2A 协议以调用代理，并提供 MCP（模型上下文协议）桥接，将 MCP 服务器连接到任何 LLM。

适用人群

使用多个 LLM 提供商，希望避免供应商锁定、在更换模型时减少代码重写，并集中管理团队 LLM 调用的开发者和组织。

主要亮点

• 统一 API：一个接口支持 100 多个 LLM，无需使用特定供应商的 SDK。
• OpenAI 兼容性：即插即用的兼容性，允许在不重写代码的情况下更换提供方。
• 企业级网关：包含虚拟密钥、支出跟踪和管理仪表板。
• 高性能：在 1k RPS 下达到 8ms 的 P95 延迟。
• 支持代理与工具：支持 A2A 代理和 MCP 工具集成。