schmitech/orbit
Self-hosted AI gateway for private RAG, natural-language data access, and tool-calling agents.
何を解決するか
ORBIT は、プライベートで管理された AI エージェントに必要なモデル、データソース、ツールの多様なセットとの間のギャップを埋めるために設計されたセルフホスト型 AI バックエンドです。ローカルプロトタイプから本番環境への移行時にアーキテクチャを再設計する必要がなく、プライベートデータとツールを使用するエージェントを管理するための統合された OpenAI 互換 API を提供します。
動作方法
ORBIT は、Ollama、vLLM、OpenAI、Anthropic などのさまざまな推論プロバイダーにリクエストをルーティングする中間層として機能します。YAML で構成されたアダプターを介してデータソースに接続し、ファイル、SQL/NoSQL データベース、ベクトルストア、Elasticsearch、REST/GraphQL API を統合できます。また、エージェント機能を実現するための Model Context Protocol (MCP) ツールもサポートしています。システム全体は、組み込みの管理パネルと YAML 設定ファイル(グローバル設定、推論プロバイダー、アダプターの動作など)で管理されます。
対象ユーザー
データとインフラストラクチャに対する厳格な制御が必要な開発者や組織、特にオンプレミス、プライベートクラウド、オフライン環境で運用するユーザーに適しています。
主な特徴
- 統合 API:下位のモデルプロバイダーにかかわらず、単一の OpenAI 互換 API コントラクトを提供します。
- 広範な接続性:アダプターを介して SQL、NoSQL、ベクトルストア、API など、多様なデータソースに接続できます。
- エンタープライズ向けガバナンス:組み込みの RBAC、OIDC/SSO、監査ログ、ファイル暗号化、キーベースのクォータを備えています。
- 本番環境での信頼性:プロバイダーのフェイルオーバー、サーキットブレーカー、ヘルスチェック、ホットアダプター再読み込みをサポートします。
- 管理コントロールプレーン:サーバーのコードを変更せずに API キー、プロンプト、アダプターを管理できる統合 UI を提供します。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト