schmitech/orbit
Self-hosted, OpenAI-compatible AI gateway for private RAG, natural-language data access, and tool-calling agents.
解決する課題
ORBITは、AIモデルとプライベートなエンタープライズ環境の間のギャップを埋めます。LLMを断片化されたデータソース(SQLデータベース、ファイル、APIなど)に接続する際の複雑さを解決し、単純なチャットインターフェースや基本的なモデルルーターには欠けている、認証、レート制限、オブザーバビリティ(可観測性)といった、必要なプロダクショングレードのガバナンスを提供します。
仕組み
ORBITは、アプリケーションとAIリソースの間に位置する集中型バックエンドAPIとして機能します。YAMLで定義されたアダプターを使用して、さまざまなデータソース(ベクトルストア、データベース、REST/GraphQL API)やツール(Model Context Protocol経由)に接続します。OpenAI互換のエンドポイントを公開しているため、リクエストをローカルモデル(Ollama、llama.cpp、vLLM経由)またはクラウドプロバイダー(OpenAI、Anthropic、Geminiなど)にルーティングでき、管理パネルを通じてセキュリティとメトリクスを管理できます。
対象者
- 開発者: 内蔵の認証とオブザーバビリティを備えた、プロダクション対応のバックエンドを必要とするAIアプリケーション開発者。
- 企業: プライベートデータ(スプレッドシート、PDF、データベース)を安全にLLMに接続したい企業。
- エンジニア: 単一の管理されたAPI契約を通じて、複数のAIプロバイダーとローカルモデルを管理する必要があるエンジニア。
ハイライト
- 統合API: モデル、データ、ツールに対してOpenAI互換のインターフェースを提供します。
- 広範な接続性: ファイル、SQL、NoSQL、ベクトルストア、およびMCPツールをサポートしています。
- プロダクション制御: RBAC、SSO、クォータ、モデレーション、および監査ログが含まれています。
- ハイブリッドデプロイ: ローカル(オフライン)またはクラウドで実行可能であり、ローカルおよびクラウドホストのモデルの両方をサポートしています。