looplj/axonhub

⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, load balancing, cost control & end-to-end tracing.

解决的问题

AxonHub 是一个旨在消除供应商锁定并降低集成复杂性的 AI 网关。它通过提供统一的 API 转换层，允许开发者在不更改应用程序代码的情况下，在不同的 AI 模型提供商（如 OpenAI、Anthropic、Gemini 和 DeepSeek）之间进行切换。

工作原理

AxonHub 在应用程序和各种 AI 提供商之间充当透明代理。它将来自一个 SDK（例如 OpenAI SDK）的请求转换为另一个提供商（例如 Anthropic）所需的格式，从而实现“任何 SDK $\rightarrow$ 任何模型”的连接。它还包含一个管理仪表板，用于配置 AI 通道、跟踪成本和监控请求。

适用对象

专为希望在 AI 技术栈中保持灵活性、避免被单一提供商绑定，并简化跨不同模态的多个 AI API 管理的开发者和企业团队而构建。

亮点

  • 统一 API 转换：无需更改代码，即可使用 OpenAI SDK 调用 Claude，或使用 Anthropic SDK 调用 GPT。
  • 可观测性：内置完整的请求追踪功能，并带有线程感知的时间线，以便更快地进行调试。
  • 企业级管理：具备细粒度的 RBAC（基于角色的访问控制）、使用配额和数据隔离功能。
  • 可靠性：具备智能负载均衡功能，可在 100 毫秒内实现自动故障转移，确保高可用性。
  • 成本控制：实时跟踪输入、输出和缓存 Token，并提供单次请求的成本明细。
  • 广泛的提供商支持：兼容 OpenAI、Anthropic、Gemini、DeepSeek、智谱 AI (Zhipu AI) 等。