algorithmicsuperintelligence/optillm
Optimizing inference proxy for LLMs
What it solves
OptiLLM 解決了較小、較快的 LLM 與最前沿模型在複雜推理任務上的效能落差。它讓使用者在數學、程式碼與邏輯推理上，無需昂貴的模型訓練或微調，即可獲得 2‑10 倍的顯著準確度提升。
How it works
OptiLLM 作為一個兼容 OpenAI API 的推理代理。與其直接向 LLM 發送請求，不如將請求經由 OptiLLM 轉發，OptiLLM 會套用超過 20 種最先進的推理時最佳化技術。這些技術包括多代理推理、蒙特卡羅樹搜尋（MCTS）以及代理混合（MoA），在推理時使用額外計算資源來細化與驗證回應。
Who it’s for
此工具設計給開發者與研究人員使用，讓他們在不更換底層模型的前提下，提升現有 LLM 部署（無論是 OpenAI、Anthropic、Google、Cerebras 等提供者）的推理能力。
Highlights
- Zero Training: 無需微調，即可立即提升準確度。
- Drop-in Replacement: 作為透明代理，可直接取代任何兼容 OpenAI 的 API 端點。
- Extensive Library: 實作超過 20 種技術，包含 MARS、CePO、PlanSearch 等。
- Plugin Ecosystem: 提供記憶、隱私（PII 匿名化）、網路搜尋與程式碼執行等插件。
- Multi-Provider Support: 透過 LiteLLM 整合，支援 100 多種模型。