looplj/axonhub

⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, load balancing, cost control & end-to-end tracing.

한 문단 설명

AxonHub는 모델에 구애받지 않는 AI 게이트웨이입니다 — 애플리케이션과 AI 제공업체(OpenAI, Anthropic, Gemini, DeepSeek 등) 사이에 위치하는 서버입니다. 앱은 기존 SDK(예: OpenAI SDK)를 계속 사용하지만, OpenAI에 직접 호출하는 대신 AxonHub를 호출합니다. 그러면 AxonHub가 요청을 실제 백엔드 제공업체가 기대하는 형식으로 변환하여 전달합니다. GPT-4o에서 Claude 3.5로 전환하고 싶으신가요? 앱 코드는 건드리지 않고 AxonHub의 구성 항목만 변경하면 됩니다. LLM API의 동물원에 맞춘 고전적인 "하나의 인터페이스, 많은 백엔드" 패턴입니다.

실제로 어떤 문제를 해결하나요?

벤더 종속 — 코드가 하나의 제공업체 SDK에 결합되어 있는 경우, AxonHub가 이를 분리합니다
통합의 분산 — 10개 이상의 제공업체용 어댑터를 작성하는 대신, OpenAI, Anthropic, Gemini 프로토콜을 기본적으로 지원하는 AxonHub API 하나에 작성합니다
관찰 가능성 제로 — 기본 제공되는 완전한 요청 추적(디버깅용 스레드 수준 타임라인)을 제공합니다
비용 폭주 — 요청별 실시간 비용 분석(입력/출력/캐시 토큰)과 예산 관리 기능 제공

주요 기능 (README에서)

모든 SDK → 모든 모델: OpenAI SDK로 Claude 호출, Anthropic SDK로 GPT 호출
요청 추적: 요청별 전체 타임라인으로 빠른 디버깅
엔터프라이즈 RBAC: 세밀한 접근 제어, 사용량 할당량, 데이터 격리
스마트 로드 밸런싱: 가장 건강한 채널로 라우팅, 100ms 미만 자동 장애 조치
요청별 비용 추적

지원되는 API 유형

텍스트 생성(chat/completions), 이미지 생성, 리랭크, 임베딩. 실시간 대화는 곧 제공 예정으로 나열되어 있습니다.

지원되는 제공업체 (각각 여러 프로토콜을 통해)

OpenAI, Anthropic, Zhipu (GLM), Moonshot (Kimi), DeepSeek, ByteDance Doubao, Gemini, Jina AI, OpenRouter, ZAI, NanoGPT — AWS Bedrock 및 Google Cloud는 테스트 중입니다. 즉, 단순히 "10개 제공업체"가 아니라 대부분이 OpenAI, Anthropic, Gemini 형식을 상호 교환적으로 수용합니다.

기술 스택 및 형태

Go로 작성됨 (HTTP는 Gin, ORM은 ent, GraphQL은 gqlgen)
웹 대시보드 포함 (스크린샷에는 시스템 대시보드, 채널 관리, 모델 가격, 추적 뷰어, 요청 모니터가 있음)
Docker 준비 완료; 라이브 데모 인스턴스와 데모 계정이 있음
배포 흐름: 초기화 마법사 → API 키로 제공업체 채널 추가 → API 키 생성 → 일반 OpenAI 호환 엔드포인트(base_url + 키)처럼 호출

대상 사용자

LLM API 위에 구축하는 팀으로, (a) 하나의 벤더에 얽매이지 않으려 하거나, (b) 지출을 중앙에서 모니터링 및 제어하려 하거나, (c) 단일 일관된 API 뒤에 여러 모델을 제공하려는 경우 — 예: 내부 플랫폼 팀, SaaS 빌더, 여러 제공업체에 걸쳐 많은 API 키를 관리하는 사람들.

평가

진짜이고 실질적인 인프라 프로젝트 — 래퍼나 목록이 아닙니다. LLM 분야의 API 단편화와 벤더 종속이라는 실제 문제점에 대한 잘 정의된 솔루션이며, 그럴듯한 아키텍처, 여러 완료된 API 변환, 가시적인 운영 도구를 갖추고 있습니다. 무거운 스폰서 섹션(유료 API 리셀러)은 OSS 저장소로서는 조금 이례적이지만, 소프트웨어 자체가 하는 일은 바꾸지 않습니다.

평점: 4/5 — 견고하고 실용적입니다. 두 개의 LLM 제공업체만 관리해 본 적이 있다면 그 가치가 분명해집니다.