schmitech/orbit

Self-hosted, OpenAI-compatible AI gateway for private RAG, natural-language data access, and tool-calling agents.

解決する課題

ORBITは、AIモデルとプライベートなエンタープライズ環境の間のギャップを埋めます。LLMを断片化されたデータソース(SQLデータベース、ファイル、APIなど)に接続する際の複雑さを解決し、単純なチャットインターフェースや基本的なモデルルーターには欠けている、認証、レート制限、オブザーバビリティ(可観測性)といった、必要なプロダクショングレードのガバナンスを提供します。

仕組み

ORBITは、アプリケーションとAIリソースの間に位置する集中型バックエンドAPIとして機能します。YAMLで定義されたアダプターを使用して、さまざまなデータソース(ベクトルストア、データベース、REST/GraphQL API)やツール(Model Context Protocol経由)に接続します。OpenAI互換のエンドポイントを公開しているため、リクエストをローカルモデル(Ollama、llama.cpp、vLLM経由)またはクラウドプロバイダー(OpenAI、Anthropic、Geminiなど)にルーティングでき、管理パネルを通じてセキュリティとメトリクスを管理できます。

対象者

  • 開発者: 内蔵の認証とオブザーバビリティを備えた、プロダクション対応のバックエンドを必要とするAIアプリケーション開発者。
  • 企業: プライベートデータ(スプレッドシート、PDF、データベース)を安全にLLMに接続したい企業。
  • エンジニア: 単一の管理されたAPI契約を通じて、複数のAIプロバイダーとローカルモデルを管理する必要があるエンジニア。

ハイライト

  • 統合API: モデル、データ、ツールに対してOpenAI互換のインターフェースを提供します。
  • 広範な接続性: ファイル、SQL、NoSQL、ベクトルストア、およびMCPツールをサポートしています。
  • プロダクション制御: RBAC、SSO、クォータ、モデレーション、および監査ログが含まれています。
  • ハイブリッドデプロイ: ローカル(オフライン)またはクラウドで実行可能であり、ローカルおよびクラウドホストのモデルの両方をサポートしています。