schmitech/orbit

解決的問題

ORBIT 是一個自架設的 AI 後端，旨在彌合應用程式與私有、受控 AI 代理所需的多樣化模型、資料來源和工具之間的差距。它透過提供統一的 OpenAI 相容 API 來管理私有資料與使用工具的代理，從而讓從本地原型過渡到生產部署時，無需重寫架構。

工作原理

ORBIT 作為一個中介層，將請求路由至各種推論提供者（如 Ollama、vLLM、OpenAI 或 Anthropic），並透過 YAML 設定的適配器連接資料來源。這些適配器讓系統能整合檔案、SQL/NoSQL 資料庫、向量儲存、Elasticsearch 以及 REST/GraphQL API。它也支援 Model Context Protocol (MCP) 工具以實現代理功能。整個系統透過內建的管理介面與 YAML 設定檔進行管理，用於全域設定、推論提供者與適配器行為。

適用對象

適用於需要對其資料與基礎設施擁有嚴格控制的開發者與組織，包括在內部部署、私有雲或隔離環境中運作的使用者。

主要亮點

• 統一 API：無論底層模型提供者為何，均提供單一 OpenAI 相容 API 協定。
• 廣泛連接性：透過適配器連接 SQL、NoSQL、向量儲存與 API 等多種資料來源。
• 企業級治理：內建 RBAC、OIDC/SSO、稽核日誌、檔案加密與按金鑰配額功能。
• 生產級韌性：支援提供者故障轉移、熔斷器、健康檢查與熱適配器重新載入。
• 管理控制平面：整合式 UI，無需修改伺服器程式碼即可管理 API 金鑰、提示詞與適配器。