looplj/axonhub

⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, load balancing, cost control & end-to-end tracing.

解決的問題

AxonHub 是一個旨在消除供應商鎖定並降低整合複雜性的 AI 閘道。它透過提供統一的 API 轉換層，允許開發者在不更改應用程式代碼的情況下，在不同的 AI 模型提供商（如 OpenAI、Anthropic、Gemini 和 DeepSeek）之間進行切換。

工作原理

AxonHub 在應用程式與各種 AI 提供商之間充當透明代理。它將來自一個 SDK（例如 OpenAI SDK）的請求轉換為另一個提供商（例如 Anthropic）所需的格式，從而實現「任何 SDK $\rightarrow$ 任何模型」的連接。它還包含一個管理儀表板，用於配置 AI 通道、追蹤成本和監控請求。

適用對象

專為希望在 AI 技術棧中保持靈活性、避免被單一提供商綁定，並簡化跨不同模態的多個 AI API 管理的開發者和企業團隊而構建。

亮點

  • 統一 API 轉換：無需更改代碼，即可使用 OpenAI SDK 呼叫 Claude，或使用 Anthropic SDK 呼叫 GPT。
  • 可觀測性：內建完整的請求追蹤功能，並帶有執行緒感知的時間線，以便更快地進行除錯。
  • 企業級管理：具備細粒度的 RBAC（基於角色的存取控制）、使用配額和數據隔離功能。
  • 可靠性：具備智慧負載平衡功能，可在 100 毫秒內實現自動故障轉移，確保高可用性。
  • 成本控制：實時追蹤輸入、輸出和快取 Token，並提供單次請求的成本明細。
  • 廣泛的提供商支援：相容於 OpenAI、Anthropic、Gemini、DeepSeek、智譜 AI (Zhipu AI) 等。