looplj/axonhub

⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, load balancing, cost control & end-to-end tracing.

简要说明

AxonHub是一个与模型无关的AI网关——一个位于你的应用程序和AI提供商(OpenAI、Anthropic、Gemini、DeepSeek等)之间的服务器。你的应用继续使用现有的SDK(比如OpenAI SDK),但它不直接调用OpenAI,而是调用AxonHub。然后AxonHub将你的请求转换成实际后端提供商期望的任何格式,并转发出去。想从GPT-4o切换到Claude 3.5?你不需要动应用代码——只需更改AxonHub中的一条配置项。这是经典的“一个接口,多个后端”模式,专为LLM API的多样化环境而定制。

它实际解决了什么问题?

  • 供应商锁定——你的代码耦合到一家提供商的SDK;AxonHub将其解耦
  • 集成蔓延——无需为10多个提供商编写适配器,只需针对AxonHub的API编写一个,它原生支持OpenAI、Anthropic和Gemini协议
  • 零可观测性——它开箱即用地提供完整的请求追踪(用于调试的线程级时间线)
  • 成本失控——实时的按请求成本细分(输入/输出/缓存令牌)以及预算管理

主要功能(来自README)

  • 任意SDK → 任意模型:通过OpenAI SDK调用Claude,或通过Anthropic SDK调用GPT
  • 请求追踪:每个请求的完整时间线,便于快速调试
  • 企业级RBAC:细粒度的访问控制、使用配额、数据隔离
  • 智能负载均衡:路由到最健康的通道,自动故障转移小于100毫秒
  • 按请求成本追踪

支持的API类型

文本生成(chat/completions)、图像生成、重排序和嵌入。实时对话列为即将推出。

支持的提供商(每个支持多种协议)

OpenAI、Anthropic、智谱(GLM)、Moonshot(Kimi)、DeepSeek、字节跳动豆包、Gemini、Jina AI、OpenRouter、ZAI、NanoGPT——AWS Bedrock和Google Cloud正在测试中。所以它不仅仅是“10个提供商”——大多数都能互换地接受OpenAI、Anthropic或Gemini格式。

技术栈和形态

  • 用Go编写(HTTP使用Gin,ORM使用ent,GraphQL使用gqlgen)
  • 附带Web仪表板(截图显示系统仪表板、渠道管理、模型定价、追踪查看器、请求监控器)
  • Docker就绪;有实时演示实例和演示账户
  • 部署流程:初始化向导 → 使用API密钥添加提供商渠道 → 创建API密钥 → 像调用普通的OpenAI兼容端点一样调用(base_url + 你的密钥)

适用对象

在LLM API之上构建的团队,希望 (a) 避免被单一供应商困住,(b) 集中监控和控制支出,或 (c) 在单一一致的API背后提供多个模型——例如,内部平台团队、SaaS构建者,或管理跨提供商的多个API密钥的人。

评价

一个真正的、实质性的基础设施项目——不是包装器或列表。它是对LLM领域API碎片化和供应商锁定这一实际痛点的范围清晰的解决方案,具有合理的架构、多个完成的API翻译和可见的运营工具。沉重的赞助商部分(付费API经销商)对于开源仓库来说有点不寻常,但这并不改变软件本身的功能。

评分:4/5——扎实务实;只要你管理过两个LLM提供商,其价值就很明显。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目