algorithmicsuperintelligence/optillm

OptiLLM – 一个兼容 OpenAI 的推理代理，可增强 LLM 推理

功能说明 – OptiLLM 位于您的代码与任何兼容 OpenAI 的 LLM（OpenAI、Anthropic、Google、Cerebras 等）之间。它拦截聊天完成请求，执行一种或多种优化技术（best‑of‑N 采样、chain‑of‑thought 提示、self‑consistency、Monte‑Carlo‑Tree‑Search、Mixture‑of‑Agents 等），并返回最佳答案。这一切都在推理时发生；不会更改任何模型权重，也不需要微调。

重要性 – 推理密集型任务（数学、编程、逻辑）通常受益于多次“思考”过程。通过自动化这些过程并选择最可靠的输出，OptiLLM 在使用相同底层模型的情况下，可在基准测试套件上获得 2‑10 倍的准确度提升。其主张是，只要在推理时有足够的计算资源，较便宜的模型（例如 GPT‑4o‑mini）就能匹配或超越较大模型（GPT‑4）的性能。

核心功能（依 README 所述）

功能	说明
可直接替换的 OpenAI 代理	在本地运行 `optillm`，将客户端的 `base_url` 指向 `http://localhost:8000/v1`，并沿用您现有的 API 调用。
多提供商支持	通过 LiteLLM，可将调用转发至 OpenAI、Anthropic、Google Gemini、Cerebras、Azure OpenAI 等。
20 多种优化技术	包括 best‑of‑N、chain‑of‑thought with reflection、self‑consistency、Monte‑Carlo Tree Search、R* 算法、Z3 定理证明器、规划（CePO）、Mixture‑of‑Agents 等。
零训练	所有技术都在推理时应用；您永远不需要微调基础模型。
插件架构	插件可添加内存、隐私（PII 掩码）、URL 获取、代码执行、结构化 JSON 输出、网络搜索和路由等功能。
SSL 与安全控制	可禁用 SSL 验证（仅限开发）、提供自定义 CA 证书，并在获取 URL 时防范 SSRF。
Docker 镜像	完整镜像、轻量代理专用镜像，以及预下载模型的离线镜像。
生产就绪提示	日志、健康检查路由，以及默认服务器仅绑定 localhost 以确保安全的说明。

使用方式

安装 – pip install optillm（或拉取 Docker 镜像）。
启动代理 – 设置 API 密钥（export OPENAI_API_KEY=…）并运行 optillm。服务器会输出一行类似 Starting server with approach: auto 的消息。

从代码调用 – 将 OpenAI 客户端指向代理，并可选择在模型名称前加上技术代号，例如：

client = OpenAI(base_url="http://localhost:8000/v1")
resp = client.chat.completions.create(
    model="moa-gpt-4o-mini",   # 在 GPT‑4o‑mini 上应用 Mixture‑of‑Agents
    messages=[{"role": "user", "content": "Solve: 2x+3=7"}]
)

您也可以通过 extra_body={"optillm_approach": "bon|mcts"} 指定技术，或在提示中嵌入 <optillm_approach> 标签。

报告的性能

README 列出了几种技术的基准测试增益：

MARS 在 Gemini Flash Lite 上：AIME 2025 提升 +30 分（43.3 → 73.3）。
CePO 在 Llama‑3.3‑70B 上：Math‑L5 提升 +18.6 分。
AutoThink 在 DeepSeek‑R1‑1.5B 上：GPQA‑Diamond 提升 +9.34 分。
MOA 在 GPT‑4o‑mini 上：在 Arena‑Hard‑Auto 套件中匹配 GPT‑4。
PlanSearch 在 GPT‑4o‑mini 上：LiveCodeBench 的 pass@5 提升 +20%。这些数字在存储库中标记为“完整基准测试结果”（此处未重现）。

谁可能受益？

研究人员 – 想要在不训练新模型的情况下实验高级推理技巧。
产品团队 – 已使用兼容 OpenAI 的提供商，并需要为推理密集型端点快速提升准确度。
开发人员 – 寻找可添加内存、隐私或网络搜索功能的即插即用代理。

限制与考量

计算成本 – best‑of‑N、MCTS 或多重规划等技术会增加 API 调用次数，因此每个请求的费用会更高。
延迟 – 更多过程意味着更高的响应时间；此代理最适合批处理或非实时工作负载。
安全性 – 代理可获取外部 URL；README 警告 SSRF 和 DNS‑rebinding 风险，并建议在高安全环境中进行网络层级的出口控制。
依赖外部 API – OptiLLM 本身不托管模型（除了可选的离线镜像，内含 spaCy）；它仍依赖底层提供商的正常运行时间和速率限制。

快速参考摘要

方面	详细信息
包名称	`optillm`（PyPI）
许可证	开源（许可证文件链接于徽章中）
主要入口点	`optillm` CLI 启动 Flask 服务器
支持的提供商	OpenAI、Anthropic、Google Gemini、Cerebras、Azure OpenAI、任何 LiteLLM 兼容模型
关键技术	Best‑of‑N、Chain‑of‑Thought、Self‑Consistency、MCTS、Mixture‑of‑Agents、CePO、R*、Z3 等
插件	内存、隐私、URL 获取、代码执行、JSON schema、网络搜索、路由等
安装	`pip install optillm` 或 Docker（`ghcr.io/algorithmicsuperintelligence/optillm:latest`）
典型使用案例	在不重新训练的情况下，提升现有 LLM API 的推理准确度

以上所有信息皆直接取自存储库的 README；未添加任何外部声明。