bestruirui/octopus
One Hub All LLMs For You | 为个人打造的 LLM API 聚合网关
解決的問題
Octopus 是為使用多個 AI 提供商的個人設計的 LLM API 聚合服務。它消除了管理多個 API 金鑰和不同 API 格式的需要，提供統一的介面來存取各種模型，同時透過自動故障轉移確保高可用性。
工作原理
該服務扮演客戶端與多個 LLM 提供商之間的代理。它在 OpenAI、Anthropic 和 Gemini 格式之間進行協定轉換，並將多個提供者通道聚合為「群組」（統一的模型名稱）。它還透過從 models.dev 等外部來源同步定價資料，追蹤令牌消耗與成本。
適用對象
- 在不同提供者之間管理多個 LLM API 金鑰的個人。
- 希望為其 AI 代理或應用程式取得單一穩定端點的開發者。
- 希望追蹤跨不同渠道的總 AI 支出的使用者。
主要亮點
- 多通道聚合：在一個地方連接並管理多個 LLM 提供商。
- 協定轉換：無縫切換 OpenAI 和 Anthropic API 格式。
- 自動故障轉移：如果上游提供者發生故障，自動切換至可用通道。
- 即時可視化：在前端查看從客戶端到提供者的完整請求路徑。
- 輕量級部署：以單一二進位檔部署，支援 SQLite、MySQL 和 PostgreSQL。
相關
- 專案
theopenco/llmgatewayLLM Gateway 是一個開源 API 網關，提供單一 OpenAI 相容端點，用於將請求路由至多個 LLM 供應商，集中管理 API 金鑰，並提供內建的使用量與效能分析。可作為託管 SaaS 服務使用，或透過 Docker 自架。
- 專案
atopos31/llmio一個基於 Go 的 LLM 負載平衡網關，為多個 AI 提供商提供統一的 REST API、加權排程和詳細的可觀測性。
- 專案
yym68686/uni-apiuni‑api 是一個僅透過設定運作的伺服器，提供單一 OpenAI 相容 API，同時將請求路由至多個 LLM 提供商（OpenAI、Anthropic、Gemini、Vertex、Azure、AWS 等）。支援加權與輪詢負載平衡、自動重試、每模型超時、速率限制、工具呼叫透傳、內容審核以及細粒度請求覆蓋——所有設定皆透過 `api.yaml` 檔案或 `CONFIG_URL` 定義。可作為 Docker 容器部署（提供一鍵 Fugue 按鈕）
- 專案
fruitbars/simple-one-apisimple‑one‑api 是一個開源的 Go 閘道器，它透過 OpenAI 相容的端點將多個 LLM 供應商統一化，並增加了容量感知的金鑰排程、四層速率限制、內建的 React 聊天 UI、視覺化配置控制台，以及 Wails 桌面客戶端。它可以作為單一二進位檔、Docker 容器或桌面應用程式運行，並將配置儲存在 SQLite 中。
- 專案