caidaoli/ccLoad

ccLoad – セルフホスト型AI APIゲートウェイ

概要 – ccLoadは、自社のマシンまたはサーバーで実行するGoベースのリバースプロキシです。多数の大規模言語モデルプロバイダー（Claude、OpenAI、Gemini、Codexなど）の前面に配置し、クライアントツールが使用する単一のAPIエンドポイントとトークンを提供します。ゲートウェイは、上流のチャネル（一連の認証情報またはサブスクリプションアカウント）を選択し、失敗時に再試行し、異なるリクエスト形式間で変換し、使用量とコストを記録します。

対象ユーザー –

• 複数のAIサブスクリプションを持ち、単一のアクセスポイントを希望する開発者。これにより、クォータを使い果たしたキーがコーディングセッションを中断させないようにできます。
• モデル、支出、または同時実行数に制限のある、ユーザー別またはプロジェクト別のAPIトークンを必要とするチーム。
• 多数の認証情報を管理し、ヘルスベースのルーティング、スケジュールされたヘルスチェック、Webコンソールを必要とするオペレーター。

主な機能

• チャネル管理 – APIキーベースのサービス、リレーURL、またはOAuthベースのアカウント（Claude、Codex/ChatGPT、Antigravity、xAIなど）を追加します。各チャネルは、提供できるモデルをリストします。
• フェイルオーバーとクールダウン – 指数バックオフを使用した自動再試行。キー/モデル/チャネルにスコープされ、上流のレート制限ウィンドウを尊重します。
• プロトコル変換 – Anthropic、OpenAI、Codex Responses、Geminiクライアントをサポートし、クライアントと上流のプロトコルが異なる場合にリクエストを変換します。
• トークンベースのアクセス制御 – トークンごとのコスト上限、モデルの許可/拒否リスト、同時実行制限、読み取り専用コンソールビューを備えたAPIトークンを生成します。
• 可観測性 – ライブリクエスト、ログ、コストの内訳、実行中のリクエストを中止する機能を表示するダッシュボード。
• 軽量デプロイ – 組み込みSQLite（オプションのMySQL/PostgreSQL）を備えた単一バイナリ、amd64/arm64用のDockerイメージ、Homebrew formula、無料のHugging Face Spacesオプションも利用可能。

開始方法

1. インストール – Docker（推奨）、Docker-Compose、Homebrew、またはリリースページからバイナリをダウンロード。
2. 実行 – サービスはポート8080でリッスンします。管理者パスワードはCCLOAD_PASSで設定します。
3. 管理コンソール – http://<host>:8080/web/にアクセスしてチャネルを追加し、クライアントトークンを作成します。
4. クライアントの設定 – Claude Code、Codex CLI、または任意のOpenAI互換SDKをhttp://<host>:8080/v1にポイントし、生成されたトークンをAPIキーとして使用します。
5. モニタリング – 組み込みダッシュボードを使用して、使用量、コスト、ヘルス情報を確認します。

使用する理由 – コードに多くの異なるキーを埋め込む必要がなくなり、プロバイダーがダウンした場合やクォータを使い果たした場合に自動フェイルオーバーを提供し、各モデルまたはトークンのコストを明確に把握できます。

ライセンス – MIT。