caidaoli/ccLoad

何を解決するか

ccLoad は、複数の AI API プロバイダーを管理する運用の複雑さを解消するための AI API ゲートウェイです。手動でのチャネル切り替え、レート制限、アップストリームの障害（「ソフトエラー」、つまり 200 OK 応答の中にエラーメッセージが含まれる場合も含む）、不明瞭なリクエストステータスといった一般的な問題を解決します。また、チャネルごと、トークンごとの制限を実装することで、コストのずれを防ぎます。

動作方法

このシステムは、クライアント（Claude Code、Codex、Gemini、OpenAI など）とさまざまなアップストリーム AI プロバイダーの間で透過的なプロキシとして機能します。優先度に基づくスマートルーティングと重み付きラウンドロビン選択を使用し、自動フェイルオーバーとモデル認識型クールダウンにより、失敗したキーまたはモデルをスキップしつつ、全体のチャネルを無効にしなくなります。マルチ URL スケジューリングとプロトコル変換をサポートし、リクエストが互換性のあるアップストリームプロバイダーにルーティングされるようにします。

対象ユーザー

複数の AI API キーとプロバイダーを異なるクライアントで使用し、ルーティング、フェイルオーバー、コスト制御、モニタリングを一元的に管理したい開発者やチームです。

主な特徴

• スマートルーティング & フェイルオーバー: 優先度ベースの選択と、指数バックオフを使用したキー、モデル、チャネルの自動フェイルオーバー。
• モデル認識型クールダウン: 全体のチャネルを無効にせず、影響を受けたモデルまたはキーだけを個別にクールダウン。
• 包括的なモニタリング: 実時間でアクティブなリクエスト、トークン使用量、TTFB、コストを追跡可能な Web ダッシュボード。
• プロトコル変換: 複数のクライアントプロトコルをサポートし、アップストリームの能力に基づいて自動検出または明示的にルーティング可能。
• コスト & レート制御: チャネルごとの日次コスト制限、RPM制限、同時実行制限を実装。
• 広範なプロバイダー対応: OAuth チャネル（Codex、Anthropic、xAI）およびさまざまな API キーベースのプロバイダーとの統合対応。