tbphp/gpt-load

What it solves

GPT-Load는 여러 AI 서비스를 관리하고 통합해야 하는 기업과 개발자를 위해 설계된 고성능 투명 프록시 서비스입니다. OpenAI, Gemini, Claude 등 다양한 제공업체의 여러 API keys를 관리하는 문제를 해결하고, 부하 분산 및 자동 장애 복구를 통해 서비스 가용성을 보성합니다.

How it works

Go 언어로 구축된 이 서비스는 사용자와 AI 제공업체 사이의 게이트웨이 역할을 합니다. 네이티브 API 형식을 유지하므로 기존의 통합 방식에 변경이 필요히 않습니다. API keys 풀을 관리하며 가중치 기반 부하 분산(weight-based load balancing)을 사용하여 요청을 분속산합니다. 키가 실패하면 시스템은 자동으로 해당 키를 블랙리스트에 추가하고 다른 키로 교체(rotation)를 시도하여 요청이 성공하도록 합니다.

Who it’s for

• Enterprises 고동합성 생산 환경과 수평적 확장이 필요한 기업.

• Developers 애플리케이션 코드를 변경하지 않고 여러 AI API keys를 통합적으로 관리하고 싶은 개발자.

• AI Teams 실시간 모니터링, 상태 체크, 상세한 요청 로그가 필요한 팀.

Highlights

• Transparent Proxying: OpenAI, Google Gemini, Anthropic Claude 형식을 네이티브 지원합니다.
• Intelligent Key Management: 자동 교체(rotation), 장애 복구, 그룹 기반 관리를 특징으로 합니다.
• Enterprise Architecture: 고가용성을 위한 분산형 leader-follower 배포를 지원합니다.
• High Performance: zero-copy streaming과 연결 풀 재사용을 통해 효율성을 높입니다.
• Management Interface: Vue 3 기반의 Web UI를 통해 직관적인 설정과 모니터링을를 제공합니다.