looplj/axonhub

AxonHub – 통합 AI 개발 플랫폼

무엇인가요 – AxonHub는 Go로 작성된 자체 호스팅 게이트웨이로, 애플리케이션 코드와 어떤 대규모 언어 모델(LLM) 공급자 사이에 위치합니다. OpenAI의 Python 클라이언트와 같은 동일한 SDK를 사용하면서도, 구성 파일만 변경하여 백엔드 모델 공급자(OpenAI, Anthropic, Gemini 등)를 쉽게 전환할 수 있습니다.

주요 기능

기능	제공되는 기능
어떤 SDK → 어떤 모델	OpenAI, Anthropic 또는 다른 SDK를 사용하고 요청을 선택한 공급자의 API 형식으로 자동 변환. 코드 변경 없이 사용 가능.
완전한 요청 트레이싱	스레드 수준 로그로 각 호출의 전체 타임라인을 확인 가능하여 디버깅을 빠르게 수행.
기업급 RBAC	팀별 세밀한 권한, 사용 제한 및 데이터 격리 기능 제공.
스마트 로드 밸런싱 및 장애 대체	100ms 미만의 라우팅 결정; 한 공급자가 성능 저하 시 자동으로 가장 건강한 채널로 재전송.
실시간 비용 추적	각 요청별 토큰 단위 비용 분석(입력, 출력, 캐시)을 제공하고 예산 집계에 활용.
다중 모달 API	텍스트 생성, 이미지 생성, 임베딩, 재정렬 및 (계획 중) 실시간 채팅 지원.
지원되는 공급자	OpenAI, Anthropic, Zhipu (GLM), Moonshot, DeepSeek, ByteDance Doubao, Gemini, Jina AI, OpenRouter, AWS Bedrock (테스트 중), Google Cloud (테스트 중), NanoGPT 등.

작동 방식 – AxonHub는 OpenAI API 구조를 모방하는 REST/GraphQL 엔드포인트를 노출합니다. 요청이 도착하면 AxonHub는 다음과 같은 절차를 수행합니다:

1. AxonHub API 키를 통해 호출자 인증.
2. 설정된 API 키를 가진 대상 공급자/채널 조회.
3. 페이로드를 공급자의 네이티브 형식으로 변환.
4. 요청을 전송하고 지연, 토큰 사용량, 비용을 기록한 후 원래 OpenAI 스타일 스키마로 응답 반환.

빠른 시작 (배포 후)

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8090/v1",  # AxonHub 주소
    api_key="your-axonhub-api-key"
)

resp = client.chat.completions.create(
    model="gpt-4o",                     # 활성화된 모델 이름
    messages=[{"role": "user", "content": "Hello, AxonHub!"}]
)
print(resp.choices[0].message.content)

나중에 채널을 Claude, Gemini 또는 중국어 모델로 전환하더라도 동일한 코드가 작동합니다. 변경이 필요한 것은 AxonHub 설정뿐입니다.

주요 사용 사례

• 공급자 종속성 회피 – 클라이언트 코드를 재작성하지 않고도 공급자 간 테스트 또는 마이그레이션 가능.
• 비용 최적화 – 저비용 모델을 저우선순위 작업에 사용하고, 중요한 쿼리는 프리미엄 모델로 유지.
• 관찰성 및 거버넌스 – 중앙 집중식 로그, 팀별 사용 제한, 비용 대시보드를 통해 컴플라이언스 팀이 관리 가능.
• 다중 모달 애플리케이션 – 단일 엔드포인트 뒤에서 텍스트, 이미지, 임베딩, 재정렬 API를 통합 사용.

배포 – Docker 이미지(docker-ready 배지)를 제공하며, Go를 지원하는 모든 호스트에서 실행 가능합니다. README에는 Render.com의 데모 인스턴스 링크와 자동 설정을 위한 deploy-axonhub 스킬이 포함되어 있습니다.

문서 및 커뮤니티 – 전체 중국어 및 영문 문서, API 참조, 트레이싱, 권한, 로드 밸런싱, 비용 추적 가이드는 리포지토리 및 DeepWiki 사이트에 호스팅됩니다. 프로젝트는 Apache-2.0/LGPL-3.0 이중 라이선스 하에 오픈소스입니다.

---

결론 – AxonHub는 LLM 공급자 간 차이를 추상화하여 개발자에게 모든 AI 모델에 대해 단일하고 관찰 가능한 API 표면을 제공하는 실용적이고 프로덕션 준비된 게이트웨이입니다.