Continuum-AI-Corp/OrcaRouter-Lite

解決的問題

OrcaRouter Lite 是一個自架設的 LLM 路由器，允許使用者透過單一的 OpenAI 相容 API 管理多個 AI 提供商（如 OpenAI、Anthropic 和 Google）。它消除了撰寫自訂路由邏輯或在不同應用程式中管理多個 API 金鑰的需要，同時透過自動選擇符合特定技術需求的最便宜模型來降低成本。

工作原理

此系統作為代理伺服器運作。使用者提供其自身對各提供者的 API 金鑰（BYOK）。當以 model="auto" 發送請求時，路由器會分析請求的需求（如視覺功能或 JSON 模式），並從其包含超過 100 個模型的目錄中，選擇能處理該任務的最便宜可用模型。它也可設定為使用托管版 OrcaRouter 作為備援安全網，以應對使用者沒有金鑰的模型。

適用對象

專為希望自架設其 LLM 網關以掌握金鑰與分析資料控制權，但仍想享受托管路由層與統一 API（如 Cursor、Aider 和 LangChain）便利性的開發者與團隊所設計。

主要特色

• 自動成本優化：model="auto" 功能根據即時價格資料，選擇最便宜的可用模型。
• OpenAI 相容性：可作為任何使用 OpenAI 聊天補全協定的 SDK 或工具的即插即用替代品。
• 跨提供者提示快取：透過在不同 AI 提供者之間快取決定性請求，降低費用與延遲。
• 內建分析功能：包含本地儀表板，可追蹤支出、延遲以及與高階模型相比的潛在節省。
• 管理式備援：可整合托管 API 作為上游提供者，以確保服務可用性。