Litelm: LiteLLM 的极简替代方案
Litelm 是一个极简主义的 Python 库，旨在提供 LiteLLM 的核心路由和翻译功能，而不包含原项目的庞大功能集。它将代码库减少到约 2,900 行，并且仅依赖两个主要依赖项：openai 和 httpx。
核心功能与 API
Litelm 为模型路由、消息翻译、流式传输、工具使用和嵌入提供了精简的路径。它被设计为 LiteLLM 的即插即用替代方案，镜像了其函数名称、参数和响应类型。这使得开发者只需通过更改导入语句即可从 LiteLLM 切换到 Litelm。
支持的功能
- 模型路由：将
provider/model语法映射到正确的 API 端点。 - 消息翻译：处理包括 Anthropic、Bedrock、Cloudflare 和 Mistral 在内的提供商的格式转换。
- 流式传输：支持流式响应并包含
stream_chunk_builder。 - 工具使用：支持函数调用和工具定义。
- 嵌入：为嵌入模型提供路由和翻译。
- 文本补全：支持标准的文本补全端点。
- OpenAI 响应 API：保持与 OpenAI 风格响应对象的兼容性。
已移除的功能
为了实现其轻量级的占用，Litelm 移除了 LiteLLM 中存在的一些高级管理功能：
- Router Class：没有内置的负载均衡或自动回退机制。
- Proxy Server：没有集成的代理功能。
- 缓存与预算管理：没有内置的缓存、成本跟踪或支出管理。
- Token 计数：没有集成的 token 计数工具。
- 高级模态：不支持图像生成、音频、OCR 或微调。
- Agents 与 Guardrails：没有集成的智能体框架、调度器或护栏。
提供商支持与集成
Litelm 使用 provider/model-name 语法支持 19 个提供商。它还支持任何通过 api_base 参数兼容 OpenAI 的端点。
| 提供商 | 环境变量 | 处理程序类型 |
|---|---|---|
| OpenAI | OPENAI_API_KEY |
OpenAI SDK |
| Anthropic | ANTHROPIC_API_KEY |
Custom |
| Groq | GROQ_API_KEY |
OpenAI-compat |
| Mistral | MISTRAL_API_KEY |
Custom |
| xAI | XAI_API_KEY |
OpenAI-compat |
| OpenRouter | OPENROUTER_API_KEY |
OpenAI-compat |
| Azure | AZURE_API_KEY |
OpenAI SDK (Azure) |
| Bedrock | AWS_ACCESS_KEY_ID |
Custom |
| Cloudflare | CLOUDFLARE_API_TOKEN |
Custom |
| Together | TOGETHERAI_API_KEY |
OpenAI-compat |
| Fireworks | FIREWORKS_API_KEY |
OpenAI-compat |
| DeepSeek | DEEPSEEK_API_KEY |
OpenAI-compat |
| Perplexity | PERPLEXITYAI_API_KEY |
OpenAI-compat |
| DeepInfra | DEEPINFRA_API_TOKEN |
OpenAI-compat |
| Gemini | GEMINI_API_KEY |
OpenAI-compat |
| Cohere | COHERE_API_KEY |
OpenAI-compat |
| Ollama | N/A | OpenAI-compat |
| vLLM | N/A | OpenAI-compat |
| LM Studio | N/A | OpenAI-compat |
技术实现与状态
Litelm 目前处于 Alpha 阶段。项目维护者已验证其为 DSPy 的即插即用替代方案，所有七个执行路径（Predict、CoT、typed signatures、streaming、embeddings、tool use 和 multi-output）均已证明运行正常。
开发方法论
该软件是使用混合人机协作方式开发的。2026 年 5 月 14 日之前编写的代码由 Claude Code (Claude Opus 4.6/4.7) 辅助编写，随后的代码通过 Pi 使用 GPT-5.5 编写。维护者对来自上游 LiteLLM 项目的 360 个核心路径提交进行了手动审计，以确保兼容性。
错误处理
Litelm 将提供商特定的错误映射到标准化的异常层次结构，包括 ContextWindowExceededError、RateLimitError 和 AuthenticationError。
社区反馈与观点
Hacker News 上的社区讨论突出了了极简主义者与依赖 Litelm 所移除的那些“臃肿”功能的用户之间的分歧。
"许多被移除的功能（如成本跟踪、流式传输、缓存）对于许多 LiteLLM 用户来说……可以说是 LiteLLM 的核心价值主张。"
其他用户指出了关于依赖项的技术担忧，特别是建议由于维护问题，从 httpx 迁移到 httpx2。
一些开发者认为，随着前沿 LLM 的出现，创建一个自定义路由器的实现是非常简单的任务，这表明随着 AI 编程工具使编写定制化客户端变得更加容易，此类库的必要性正在降低。
"使用前沿 LLM，这是一个 30 分钟的项目。我看不出为什么有人会使用别人的路由器。"
最后，一些用户称赞了 AI 提供商之间的高度互操作性，指出“OpenAI-compatible”标准已成为行业内 API 互操作性成功的罕见案例。
Sources
相关
- 项目
- 项目
- 项目
- 项目