schmitech/orbit

解决的问题

ORBIT 是一个自托管的 AI 后端，旨在弥合应用程序与私有、受控 AI 代理所需的多样化模型、数据源和工具之间的差距。它通过提供统一的 OpenAI 兼容 API 来管理私有数据和使用工具的代理，从而在从本地原型过渡到生产部署时无需重写架构。

工作原理

ORBIT 作为一个中间层，将请求路由到各种推理提供者（如 Ollama、vLLM、OpenAI 或 Anthropic），并通过 YAML 配置的适配器连接数据源。这些适配器使系统能够集成文件、SQL/NoSQL 数据库、向量存储、Elasticsearch 以及 REST/GraphQL API。它还支持 Model Context Protocol (MCP) 工具以实现代理功能。整个系统通过内置的管理面板和 YAML 配置文件进行管理，用于全局设置、推理提供者和适配器行为。

适用人群

适用于需要对其数据和基础设施拥有严格控制的开发者和组织，包括在本地部署、私有云或隔离网络环境中运行的用户。

主要亮点

• 统一 API：无论底层模型提供者如何，均提供单一的 OpenAI 兼容 API 协议。
• 广泛连接性：通过适配器连接 SQL、NoSQL、向量存储和 API 等多种数据源。
• 企业级治理：内置 RBAC、OIDC/SSO、审计日志、文件加密和按密钥配额功能。
• 生产级韧性：支持提供者故障转移、熔断器、健康检查和热适配器重载。
• 管理控制平面：集成 UI，无需修改服务器代码即可管理 API 密钥、提示词和适配器。