mnfst/manifest

解決的問題

Manifest 是一個開源的 LLM 網關，旨在防止 AI 代理與應用程式因供應商鎖定或服務中斷而失效。它提供單一的 OpenAI 相容端點，抽象化管理多個 API 金鑰、訂閱與本地模型的複雜性。

運作方式

使用者將各種 AI 供應商（包含 API 金鑰、ChatGPT Plus 或 Claude Pro 等訂閱，以及 Ollama 或 LM Studio 等本地執行器）連接到 Manifest。網關隨後將查詢路由至適當的模型。透過傳送包含 "model": "auto" 的請求，Manifest 會自動為查詢選擇最佳模型。

適用對象

適合希望避免依賴單一 LLM 供應商，並需要可靠方式管理成本、日誌與模型備援的 AI 代理與應用程式開發者。

主要特色

• 廣泛的供應商支援：透過 32 個內建供應商連接，支援超過 300 個模型，涵蓋主要實驗室與本地推理引擎。
• 可靠性功能：查詢失敗時自動切換至其他模型，並具備錯誤請求的自我修復能力。
• 統一介面：提供 OpenAI 相容端點，實現無縫整合。
• 可觀測性：提供完整的請求內容日誌（含成功與錯誤訊息），並提供支出追蹤、通知設定與限制設定工具。
• 彈性部署：支援透過 Docker 自行托管，或於 Railway、AWS、GCP、Render 等平台進行一鍵部署。