schmitech/orbit

解決的問題

ORBIT 彌合了 AI 模型與私有企業環境之間的鴻溝。它解決了將 LLM 連接到碎片化數據源（如 SQL 資料庫、檔案和 API）的複雜性，並提供了簡單聊天介面或基礎模型路由器所缺乏的生產級治理功能——例如身份驗證、速率限制和可觀測性。

工作原理

ORBIT 作為位於您的應用程式與 AI 資源之間的集中式後端 API。它使用 YAML 定義的適配器連接到各種數據源（向量資料庫、資料庫、REST/GraphQL API）和工具（透過 Model Context Protocol）。它提供與 OpenAI 相容的端點，允許您將請求路由到本地模型（透過 Ollama、llama.cpp、vLLM）或雲端提供商（OpenAI、Anthropic、Gemini 等），同時透過管理面板管理安全性與指標。

適用對象

• 開發者：正在構建需要內建身份驗證與可觀測性的生產級後端的 AI 應用程式的開發者。
• 企業：希望安全地將私有數據（試算表、PDF、資料庫）連接到 LLM 的企業。
• 工程師：需要透過單一受控 API 規範來管理多個 AI 提供商與本地模型的工程師。

亮點

• 統一 API：為模型、數據與工具提供與 OpenAI 相容的介面。
• 廣泛的連接性：支援檔案、SQL、NoSQL、向量資料庫及 MCP 工具。
• 生產控制：包括 RBAC、SSO、配額、審核與稽核日誌。
• 混合部署：可以在本地（離線）或雲端執行，支援本地與雲端託管的模型。