tashfeenahmed/freellmapi

何を解決するか

FreeLLMAPI は、複数の無料Tier LLMプロバイダーを統合する一元化された OpenAI互換エンドポイントを提供します。数十の異なるSDK、レート制限、APIキーを手動で管理する必要がなくなり、さまざまなAIラボの無料クォータを組み合わせて、大規模な推論容量を構築できます。

動作方法

このプロジェクトは、AIアプリケーションとさまざまなLLMプロバイダーの間に位置するローカルルーターとして機能します。プロバイダーのキーをルーターに追加すると、単一の /v1 APIが公開されます。自動ルーティング、レート制限時に次の利用可能なモデルへのフェイルオーバー、各キーごとの使用量を追跡して無料Tierの上限を超えないようにします。ルーターはまた、中央のフィードから署名済みモデルカタログを同期し、プロバイダーのモデルやクォータの変更に対応します。

対象ユーザー

複数のAPIキーとレート制限の複雑な管理を繰り返し行わずに、幅広い無料LLMモデルを使いたい開発者やAI愛好家。

主な特徴

• 一元化API: /v1/chat/completions、/v1/embeddings、およびメディア生成エンドポイント（画像、動画、音声）をサポート。
• スマートルーティング: 6種類のルーティング戦略と自動フェイルオーバー、キーのローテーションにより、稼働率を最大化。
• マルチモデル合成（フュージョン）: プロンプトを複数の無料モデルに並列で送信し、ジャッジモデルを使って最終的な回答を合成可能。
• 広範な互換性: Claude Code、Aider、Cursorなどのコードエージェントを含む、すべてのOpenAI互換クライアントと互換。
• ローカルファーストのセキュリティ: プロバイダーのキーはローカルのSQLiteデータベースでAES-256-GCM暗号化。
• 自動更新カタログ: 手動更新なしでモデルリストとクォータ情報が自動更新。
• 管理ダッシュボード: React UIを備え、キーの管理、分析の監視、プレイグラウンドでのモデルテストが可能。