tbphp/gpt-load

What it solves

GPT-Load は、複数の AI サービスを統合・管理する必要がある企業や開発者向けに設計された高性能透明プロキシサービスです。OpenAI, Gemini, および Claude などの異なるプロバイダーの多数の API keys を管理する問題を解決し、負荷分散（ロードバランシング）と自動故障復旧機能により、サービスの可用性を確保します。

How it works

Go で構築されたこのサービスは、ユーザーと AI プロバイダー間のゲートウェイとして機能します。ネイティブ API 形式を保持するため、既存の既存の統合システムを改修修行なしでそのまま利用できます。API keys のプールを管理し、承重負荷分散（ウェイト付きロードバランシング） weight-based load balancing を用いてリクエストクエストを分散させます。キーが失敗した場合、システムは自動的にそのキーをブラックリスト化し、別のキーにローテーション-rotation してローテーション-rotation して、リクエストを成功させるための試行を繰り返します。

Who it’s for

• Enterprises 高並列な生産環境と水平スケーリングが必要な企業。
• Developers アプリケーションのコードを変更せずに、複数の AI API keys を統一的に管理したい開発者。
• AI Teams リアルタイムモニタリング、ヘルスチェック、詳細なリクエストログが必要なチーム。

Highlights

• Transparent Proxying: OpenAI, Google Gemini, および Anthropic Claude 形式をネイティブサポート。

• Intelligent Key Management: 自動ローテーション、故障復旧、およびグループベースの管理機能を備えています。

• Enterprise Architecture: 分散型 leader-follower 構成による高可用性サポート。

• High Performance: zero-copy streaming と接続プール再利用により、効率性を向上。

• Management Interface: Vue 3 ベースの Web UI を提供し、直観的な設定とモニタリングを行えます。