looplj/axonhub

⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, load balancing, cost control & end-to-end tracing.

一言で説明すると

AxonHubはモデル非依存のAIゲートウェイです。アプリケーションとAIプロバイダー（OpenAI、Anthropic、Gemini、DeepSeekなど）の間に立つサーバーです。アプリは既存のSDK（たとえばOpenAI SDK）を使い続けますが、OpenAIに直接呼び出すのではなく、AxonHubを呼び出します。AxonHubはリクエストを実際のバックエンドプロバイダーが期待する形式に変換し、転送します。GPT-4oからClaude 3.5に切り替えたい場合、アプリのコードには触らず、AxonHubの設定エントリを変更するだけです。これは「一つのインターフェース、多くのバックエンド」という古典的なパターンを、LLM APIの動物園向けに調整したものです。

実際にどのような問題を解決するのか

ベンダーロックイン — コードが一つのプロバイダーのSDKに結合されている場合、AxonHubがそれを分離します
統合の散乱 — 10以上のプロバイダー用のアダプターを書く代わりに、AxonHubのAPI（OpenAI、Anthropic、Geminiプロトコルをネイティブに話す）に対して一つ書くだけです
可観測性ゼロ — ボックスから完全なリクエストトレーシングを提供します（デバッグ用のスレッドレベルのタイムライン）
コストの暴走 — リクエストごとのリアルタイムなコスト内訳（入力/出力/キャッシュトークン）に加えて、予算管理も提供します

主な機能（READMEから）

任意のSDK → 任意のモデル: OpenAI SDKを介してClaudeを呼び出す、またはAnthropic SDKを介してGPTを呼び出す
リクエストトレーシング: リクエストごとの完全なタイムラインで迅速なデバッグ
エンタープライズRBAC: きめ細かいアクセス制御、使用量クォータ、データ分離
スマートロードバランシング: 最も健全なチャネルにルーティングし、100ms未満で自動フェイルオーバー
リクエストごとのコスト追跡

サポートされるAPIタイプ

テキスト生成（chat/completions）、画像生成、リランク、埋め込み。リアルタイム会話は近日対応予定と記載されています。

サポートされるプロバイダー（各複数のプロトコル経由）

OpenAI、Anthropic、Zhipu (GLM)、Moonshot (Kimi)、DeepSeek、ByteDance Doubao、Gemini、Jina AI、OpenRouter、ZAI、NanoGPT — AWS BedrockとGoogle Cloudはテスト中。つまり「10プロバイダー」だけでなく、ほとんどがOpenAI、Anthropic、Gemini形式を相互に受け入れます。

技術スタックと構成

Goで書かれています（HTTPはGin、ORMはent、GraphQLはgqlgen）
Webダッシュボードを同梱（スクリーンショットにはシステムダッシュボード、チャネル管理、モデル価格、トレースビューア、リクエストモニターが含まれます）
Docker対応、ライブデモインスタンスとデモアカウントがあります
デプロイフロー: 初期化ウィザード → プロバイダーチャネルをAPIキーで追加 → APIキーを作成 → 通常のOpenAI互換エンドポイント（base_url + キー）のように呼び出す

対象ユーザー

LLM APIの上に構築するチームで、(a) 特定のベンダーに縛られたくない、(b) 支出を一元管理・監視したい、(c) 単一の一貫したAPIの背後で複数のモデルを提供したい場合 — 例えば、内部プラットフォームチーム、SaaSビルダー、複数のプロバイダーにわたる多数のAPIキーを管理している人々など。

評価

本物で、実質的なインフラプロジェクト — ラッパーやリストではありません。LLM分野のAPI断片化とベンダーロックインという実際の痛点に対する、適切にスコープされたソリューションであり、妥当なアーキテクチャ、複数の完了したAPI翻訳、可視化された運用ツールを備えています。重いスポンサーセクション（有料APIリセラー）はOSSリポジトリとしては少し異例ですが、ソフトウェア自体の機能は変わりません。

評価: 4/5 — 堅実で実用的; 2つのLLMプロバイダーを管理しただけで、その価値は明確です。