tashfeenahmed/freellmapi

解決する課題

FreeLLMAPIは、数十のAIプロバイダーの複数の無料枠を集約する、統一されたOpenAI互換のAPIエンドポイントを提供します。複数のSDK、APIキー、レート制限を手動で管理する必要がなくなり、ユーザーは数百のモデルファミリーにわたる膨大な無料推論容量（月間最大74億トークン）にアクセスできます。

仕組み

このプロジェクトは、AIアプリケーションとさまざまなLLMプロバイダーの間に位置するローカルルーターとして機能します。プロバイダーキーをルーターの暗号化SQLiteデータベースに追加すると、ルーターがリクエストルーティング、レート制限時の次に利用可能なモデルへの自動フェイルオーバー、および無料枠の上限内に収めるためのキーごとのレート追跡を処理します。また、中央フィードから署名付きモデルカタログを同期し、無料枠の状況の変化に対応します。

対象ユーザー

複数のアカウントやプロバイダーを管理する複雑さなしに無料LLM枠を最大限に活用したい開発者やAI愛好家、およびコーディングエージェントやAIクライアントに単一のエンドポイントを求める人々。

ハイライト

• 統一されたOpenAI互換サーフェス：チャット、埋め込み、画像、動画、音声エンドポイントをサポート。
• スマートルーティングとフェイルオーバー：429/5xxエラーに対する自動リトライとクールダウンを備えた6つのルーティング戦略。
• フュージョン（マルチモデル合成）：複数の無料モデルを並列でプロンプトし、ジャッジモデルを使用して最終回答を合成する仮想モデル。
• 広範な互換性：Claude Code、Cursor、Aider、その他のOpenAI互換クライアントと連携し、ChatGPT用のMCPサーバーも含む。
• ローカルファーストで安全：プロバイダーキーは保存時にAES-256-GCMで暗号化され、リクエストごとにメモリ内で復号化されます。
• 自己更新カタログ：手動更新なしで新しいモデルとクォータ変更を自動同期。
• デスクトップアプリ：macOSおよびWindows用のネイティブメニューバーアプリで、簡単にローカル管理が可能。