astaxie/TokenHub

TokenHub – 엔터프라이즈급 AI 모델 게이트웨이 및 거버넌스

주요 기능
TokenHub는 OpenAI 호환 LLM 제공자(OpenAI, Azure, Anthropic, Gemini, DeepSeek, Qwen, 로컬 모델 등) 앞에 위치하여 기업을 위한 가볍지만 강력한 거버넌스 계층을 추가합니다.
다음을 할 수 있습니다:

• 호출 라우팅 – 시나리오, 비용, 상태, 폴백 정책에 가장 적합한 모델로.
• 누가 어떤 토큰을 사용할 수 있는지 제어 – 프로젝트 범위 API 키, 팀 수준 권한, 할당량, 동시성 제한.
• 비용 절감 – 자동 캐싱, 모델 선택 규칙, 예산 상한.
• 청구서 조정 – 내부 사용 로그와 제공자 청구서를 비교하여 재무 부서가 지출을 설명할 수 있도록.

대상 사용자

• 사용자 – 모델을 호출하고 자신의 사용량을 확인할 API 키만 필요한 개발자.
• 팀 리더 – 프로젝트, 구성원, 비용 속성, 보고서 관리.
• 관리자 – 제공자, 라우팅 정책, RBAC, 감사 추적, 비용 제어 구성.

주요 기술 요소

• Go 1.26로 작성되었으며 SQLite 우선 배포 옵션 제공. PostgreSQL은 다중 인스턴스 스케일링에 사용 가능.
• OpenAI 호환 엔드포인트(/v1/chat/completions, /v1/embeddings, /v1/images/generations 등) 및 Anthropic 스타일 메시지와 토큰 수 API 제공.
• Docker-Compose 또는 네이티브 systemd 설치 지원. 릴리스 번들은 버전 확인되며 관리 콘솔에서 롤백 가능.
• 150개 이상의 제공자 템플릿과 주요 상용 LLM 서비스용 어댑터 포함. 사용자 지정 업스트림은 일반 OpenAI 호환 인터페이스를 통해 추가 가능.
• UI는 라이트/다크 모드, 역할 기반 탐색, 분석 대시보드(사용자, 프로젝트, 모델, 비용 센터별 사용량) 제공.

시작하기

1. 네이티브 설치 – curl로 다운로드한 스크립트를 실행하여 systemd 서비스 설치 및 관리자 비밀번호 출력.
2. Docker-Compose – .env.example을 복사하고 시크릿을 입력한 후 ./deploy/install.sh 실행.
3. 콘솔을 http://localhost:3000에서 엽니다(관리자 로그인 admin).

문서

• 아키텍처 개요, 사용자/리더/관리자 가이드, 배포 지침, 기여 가이드는 모두 docs/ 폴더에 있습니다.
• 프로젝트는 Apache-2.0 라이선스이며 기여를 환영합니다.

---

TokenHub는 대규모 조직에서 AI 모델 소비를 관리하는 실제 문제를 해결하는 진정한 프로덕션 지향 오픈소스 프로젝트입니다.