looplj/axonhub

⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, load balancing, cost control & end-to-end tracing.

AxonHub – すべてのAI開発を統合したプラットフォーム

何であるか – AxonHubはGoで書かれた自己ホスト型ゲートウェイで、アプリケーションコードと任意の大規模言語モデル(LLM)プロバイダーの間に配置されます。OpenAIのPythonクライアントなどの同じSDKを使用しつつ、設定ファイルを変更するだけで、背後にあるモデルプロバイダー(OpenAI、Anthropic、Geminiなど)を切り替えることができます。

主な機能

機能 得られるもの
任意のSDK → 任意のモデル OpenAI、Anthropic、その他のSDKを使用し、リクエストを選択したプロバイダーのAPI形式に自動的に変換。コード変更は不要。
完全なリクエストトレーシング スレッドレベルのログで各呼び出しの完全なタイムラインを表示し、デバッグを迅速化。
企業向けRBAC チーム向けの細かい権限、使用制限、データ隔離を実現。
スマートなロードバランシングとフェイルオーバー 100ms未満のルーティング判断;プロバイダーの品質が低下した場合、自動的に健全なチャネルに再ルーティング。
リアルタイムコスト追跡 各リクエストごとにトークン単位のコスト分解(入力、出力、キャッシュ)を表示し、予算管理に集計。
マルチモーダルAPI テキスト生成、画像生成、埋め込み、再ランク、(計画中)リアルタイムチャット。
対応プロバイダー OpenAI、Anthropic、Zhipu(GLM)、Moonshot、DeepSeek、ByteDance Doubao、Gemini、Jina AI、OpenRouter、AWS Bedrock(テスト中)、Google Cloud(テスト中)、NanoGPTなど。

動作方法 – AxonHubはOpenAI APIの形状を模倣するREST/GraphQLエンドポイントを公開します。リクエストが到着すると、AxonHubは以下の手順を実行します:

  1. AxonHub APIキーによる呼び出し元の認証。
  2. ターゲットプロバイダー/チャネルの照会(独自のAPIキーで設定)。
  3. ペイロードをプロバイダーのネイティブ形式に変換。
  4. リクエストを送信し、遅延、トークン使用量、コストを記録し、元のOpenAIスタイルのスキーマでレスポンスを返却。

クイックスタート(デプロイ後)

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8090/v1",  # AxonHubアドレス
    api_key="your-axonhub-api-key"
)

resp = client.chat.completions.create(
    model="gpt-4o",                     # 有効化済みの任意のモデル名
    messages=[{"role": "user", "content": "Hello, AxonHub!"}]
)
print(resp.choices[0].message.content)

後でチャネルをClaude、Gemini、または中国語モデルに切り替えても、同じコードが動作します。変更が必要なのはAxonHubの設定のみです。

一般的な利用事例

  • ベンダーのロックイン回避 – クライアントコードを再書き込みせずに、プロバイダー間でテストや移行が可能。
  • コスト最適化 – 低優先度のタスクには低コストモデルをルーティングし、重要なクエリにはプレミアムモデルを維持。
  • 可視性とガバナンス – 中央集権的なログ、チームごとの使用制限、コストダッシュボードでコンプライアンスチームが管理可能。
  • マルチモーダルアプリケーション – 1つのエンドポイントの裏でテキスト、画像、埋め込み、再ランクAPIを統合。

デプロイ – Dockerイメージ(docker-readyバッジ)を提供しており、Goをサポートする任意のホストで実行可能。READMEにはRender.com上のデモインスタンスへのリンクと、自動セットアップ用のdeploy-axonhubスキルが含まれています。

ドキュメントとコミュニティ – 完全な中国語および英語ドキュメント、APIリファレンス、トレーシング、権限、ロードバランシング、コスト追跡に関するガイドはリポジトリおよびDeepWikiサイトにホストされています。プロジェクトはApache-2.0/LGPL-3.0の二重ライセンスでオープンソースです。


結論 – AxonHubは実用的でプロダクション対応のゲートウェイであり、LLMプロバイダー間の違いを抽象化し、すべてのAIモデルに対して単一で観測可能なAPI表面を提供します。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト