litellm: 它是什么，解决了什么问题以及为什么它正受到关注

它解决了什么问题

LiteLLM 解决了管理多个 LLM 提供商的复杂性。它不再需要为每个模型处理不同的 SDK、身份验证模式和请求格式，而是提供了一个单一、统一的接口，使用 OpenAI 格式来调用超过 100 个 LLM 提供商。

它是如何工作的

它主要以两种模式运行：

1. Python SDK: 一个可直接集成到 Python 应用程序中的库。
2. AI Gateway (Proxy Server): 一个中心化的、自托管的服务，充当您的应用程序与各种 LLM 提供商之间的中间人，允许您在不重写代码的情况下更换模型。

它是为谁准备的

使用来自不同提供商（如 OpenAI, Anthropic, Gemini, 和 Bedrock）的多个 AI 模型，并希望避免提供商锁定并减少集成开销的开发者和组织。

亮点

• Unified API: 100 多个 LLM 的单一接口。
• OpenAI Compatibility: OpenAI 格式调用的即插即用替代方案。
• Enterprise Features: 包括虚拟密钥、支出跟踪、负载均衡和护栏 (guardrails)。
• Agent & Tool Integration: 支持 A2A Agent 协议和 MCP (Model Context Protocol) 工具。
• High Performance: 在 1k RPS 下实现 8ms P95 延迟。