schmitech/orbit

解决的问题

ORBIT 弥合了 AI 模型与私有企业环境之间的鸿沟。它解决了将 LLM 连接到碎片化数据源（如 SQL 数据库、文件和 API）的复杂性，并提供了简单聊天界面或基础模型路由器所缺乏的生产级治理功能——例如身份验证、速率限制和可观测性。

工作原理

ORBIT 作为位于您的应用程序和 AI 资源之间的集中式后端 API。它使用 YAML 定义的适配器连接到各种数据源（向量数据库、数据库、REST/GraphQL API）和工具（通过 Model Context Protocol）。它提供与 OpenAI 兼容的端点，允许您将请求路由到本地模型（通过 Ollama、llama.cpp、vLLM）或云提供商（OpenAI、Anthropic、Gemini 等），同时通过管理面板管理安全性和指标。

适用对象

• 开发者：正在构建需要内置身份验证和可观测性的生产级后端的 AI 应用程序的开发者。
• 企业：希望安全地将私有数据（电子表格、PDF、数据库）连接到 LLM 的企业。
• 工程师：需要通过单一受控 API 规范来管理多个 AI 提供商和本地模型的工程师。

亮点

• 统一 API：为模型、数据和工具提供与 OpenAI 兼容的接口。
• 广泛的连接性：支持文件、SQL、NoSQL、向量数据库和 MCP 工具。
• 生产控制：包括 RBAC、SSO、配额、审核和审计日志。
• 混合部署：可以在本地（离线）或云端运行，支持本地和云端托管的模型。