mnfst/llm-gateway

解決的問題

Manifest 為 AI 代理程式和應用程式提供了一個統一的、與 OpenAI 兼容的端點，消除了供應商鎖定的問題。它解決了在不同供應商之間管理多個 API 金鑰、訂閱和本地模型的問題，同時透過自動故障轉移和自我修復機制確保可靠性，以應對失敗的請求。

工作原理

它作為一個閘道層，透過 35 個內建的供應商連接（包括 OpenAI、Anthropic、Google 和本地執行器如 Ollama）連接到超過 300 個模型。使用者可以使用 "model": "auto" 向單一端點發送查詢，Manifest 會根據自訂的路由規則將請求導向適當的模型。它還會記錄完整的請求/回應內容以供記錄，並追蹤支出和限制。

適用對象

需要在不同 LLM 供應商之間無縫切換、跨多個訂閱管理成本，或將本地模型整合至生產工作流程的開發者。

主要特色

• 統一端點：將各種 API 金鑰、訂閱和本地模型整合至一個與 OpenAI 兼容的 API。
• 廣泛的供應商支援：整合了超過 300 個模型，涵蓋 35 個供應商，包括主要實驗室以及本地工具如 llama.cpp 和 LM Studio。
• 可靠性工具：當查詢失敗時，可自動切換至其他模型，並具備自我修復功能以處理錯誤請求。
• 成本管理：即時追蹤支出，並支援設定通知與限制。
• 彈性部署：支援 Docker、雲端平台（Railway、Render、AWS、GCP）以及本地主機。