looplj/axonhub

⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, load balancing, cost control & end-to-end tracing.

해결하는 문제

AxonHub는 벤더 종속(vendor lock-in)을 제거하고 통합 복잡성을 줄이기 위해 설계된 AI 게이트웨이입니다. 통합 API 변환 레이어를 제공하여 개발자가 애플리케이션 코드를 변경하지 않고도 다양한 AI 모델 제공업체(OpenAI, Anthropic, Gemini, DeepSeek 등) 사이를 전환할 수 있도록 합니다.

작동 방식

AxonHub는 애플리케이션과 다양한 AI 제공업체 사이에서 투명한 프록시 역할을 합니다. 하나의 SDK(예: OpenAI SDK)에서 오는 요청을 다른 제공업체(예: Anthropic)가 요구하는 형식으로 변환하여 "Any SDK $\rightarrow$ Any Model" 연결을 가능하게 합니다. 또한 AI 채널 구성, 비용 추적 및 요청 모니터링을 위한 관리 대시보드를 포함합니다.

대상 사용자

AI 스택의 유연성을 유지하고, 단일 제공업체에 종속되는 것을 피하며, 다양한 모달리티에 걸친 여러 AI API의 관리를 단순화하고자 하는 개발자 및 엔터프라이즈 팀을 위해 구축되었습니다.

주요 특징

통합 API 변환: 코드 변경 없이 OpenAI SDK를 사용하여 Claude를 호출하거나, Anthropic SDK를 사용하여 GPT를 호출할 수 있습니다.
관측 가능성(Observability): 스레드 인식 타임라인을 갖춘 내장된 전체 요청 추적 기능으로 더 빠른 디버깅이 가능합니다.
엔터프라이즈 관리: 세밀한 RBAC(역할 기반 액세스 제어), 사용량 할당량 및 데이터 격리 기능을 제공합니다.
신뢰성: 높은 가용성을 보장하기 위해 100ms 미만의 자동 장애 조치(auto-failover)를 지원하는 스마트 로드 밸런싱을 제공합니다.
비용 제어: 입력, 출력 및 캐시 토큰에 대한 실시간 추적과 요청별 비용 내역을 제공합니다。
폭넓은 제공업체 지원: OpenAI, Anthropic, Gemini, DeepSeek, Zhipu AI 등을 지원합니다.