OctaFuse/octafuse-gateway

解決する課題

Octafuse Gateway は、AIエージェント向けに設計されたセルフホスト型のオープンソースAIゲートウェイです。複数のAIプロバイダー、モデル、ツールを単一の統一されたエントリーポイントに集約することで、断片化されたAIリソースの問題を解決します。これにより、個人やチームは、サービスごとに個別のエンドポイントを管理することなく、さまざまなテキスト、画像、音声モダリティにわたってルーティング、APIキー、予算、監査を管理できます。

仕組み

このゲートウェイは、クライアントと各AIプロバイダーの中間層として機能し、すべてのリクエストに対して統一された Base URL を提供します。複数のプロトコル（OpenAI、Anthropic、Gemini、および DashScope、MiniMax、Volcengine のネイティブエンドポイント）をサポートしており、プロトコル変換を実行できるため、クライアントは使い慣れたAPI（OpenAIのAPIなど）を使用して、異なるプロバイダーのモデルを呼び出すことができます。

主な運用メカニズムは以下の通りです：

• プロバイダーとモデルの統合: 事前に設定されたプロバイダーとモデルをワンクリックでインポート。
• エージェントツール: /v1/tools/* エンドポイントを通じて、ウェブ検索、ウェブ取得、AI検出などのツールに統一アクセス。
• ルーティング戦略: 負荷、コスト、キャッシュヒット率を最適化するための4つの戦略（ハッシュアフィニティ、加重ランダム、重み優先、加重ラウンドロビン）。
• ユーザーと課金管理: コストを追跡し、ユーザーやチームごとのクォータを管理するための3台帳システム（カタログ価格、供給コスト、ユーザー価格）。

対象ユーザー

• AIエージェント開発者: モデルとツールの両方に単一のアクセスポイントを必要とする開発者。
• エンタープライズAIチーム: AIリソースの使用状況に対して、一元的なガバナンス、コスト追跡、予算管理を必要とする組織。
• セルフホストユーザー: 独自のインフラストラクチャ（Docker または Cloudflare Workers）でAIゲートウェイをデプロイしたいユーザー。

ハイライト

• マルチモーダルサポート: テキスト、画像生成/編集、ASR、TTS、リアルタイム音声を処理。
• エージェント中心: エージェント専用のウェブ検索、ディープ検索、ウェブスクレイピングツールを内蔵。
• エージェントルーティング: パフォーマンスを向上させるための Prompt Cache アフィニティを含む高度なルーティング戦略。
• 3台帳課金: 標準価格、実コスト、ユーザー固有の価格を含む詳細なコスト会計。
• 柔軟なデプロイ: Cloudflare Workers + D1 による無料/エッジデプロイ、または Postgres/MySQL を使用した Docker デプロイをサポート。