fruitbars/simple-one-api

解決する課題

複数の大規模言語モデル (LLM) プロバイダーを接続するための統合ゲートウェイを提供し、ユーザーが単一のインターフェースを通じてさまざまな API キーやモデルを管理できるようにします。特に、API レート制限（429 エラー）に直面するという問題を解決します。インテリジェントなキープールと容量認識スケジューリングを実装することで、リクエストが利用可能なキーに分散されるようにし、繰り返される失敗を防ぎます。

仕組み

このプロジェクトは、クライアントと LLM プロバイダー間のプロキシとして機能します。OpenAI Chat Completions、OpenAI Responses、Anthropic Messages という 3 つの主要なクライアントプロトコルをサポートしています。60 秒のローリングウィンドウを使用して、各 API キーとモデルの組み合わせに対する残りの 1 分あたりのトークン数 (TPM) を推定します。リクエストが到着すると、無効化されたキーやサーキットブレーカーが作動したキーを除外し、リクエストのコストを推定し、最も容量に余裕のあるキーを選択します。プロバイダーが 429 エラーを返した場合、システムはその特定のキーとモデルのペアを自動的にクールダウンし、プール内の別の正常なキーにリクエストをルーティングしようとします。

対象ユーザー

• 複数の LLM プロバイダーを使用しており、単一の API エンドポイントを求める開発者。
• API キーの管理ゲートウェイを必要とするローカル LLM クライアント（Codex や Claude Code など）のユーザー。
• 複数の API アカウントにわたるレート制限と負荷分散を堅牢に処理する必要があるチーム。

ハイライト

• 容量認識スケジューリング: 推定 TPM とリアルタイムの 429 クールダウンに基づくインテリジェントなキー選択。
• マルチプロトコルサポート: OpenAI および Anthropic API 形式と互換性があります。
• 統合管理: ビジュアル設定ダッシュボード、組み込みの React Web チャットインターフェース、および Wails ベースのデスクトップアプリケーションが含まれています。
• きめ細かなレート制限: QPS、QPM、RPM、TPM、および同時実行数にわたる 4 つの制限レイヤー（プロバイダー、プロバイダー-モデル、キー、キー-モデル）をサポート。
• 可観測性: プロンプトの内容を保存せずに、リアルタイムのログ表示と軽量な使用統計（レイテンシ、TTFT、トークン数）を提供。