ellipticmarketing/modelrelay

何を解決するか

modelrelay は、さまざまなプロバイダーの利用可能な無料 AI コーディングモデルの中から最適なモデルに自動的にリクエストをルーティングするローカルルーターです。複数の API サブスクリプションに支払いを行う必要をなくし、モデルのパフォーマンスをベンチマークして最適な無料モデルにリクエストを自動的に送信します。

動作方法

OpenAI互換のプロキシとして機能します。auto-fastest エンドポイントまたは特定のモデルグループにリクエストを送信すると、モデルの知能パーセンタイルと最近の平均レイテンシの組み合わせに基づいて、サービス品質（QoS）スコアを評価します。タグ（例：coding, reasoning）や最小コンテキスト窓サイズ（min_ctx）に基づいてリクエストをルーティングできます。

対象ユーザー

複数の API キーを管理したり、プロバイダーを手動で切り替えたりせずに、無料で高性能な LLM を利用したい開発者や AI コーディングツールユーザー。

主な特徴

• OpenAI互換性: 既存のツールやスクリプトの即時置き換えとして使用可能。
• 自動ルーティング: 実時間のベンチマークに基づき、最も速く、最も能力の高いモデルを自動選択。
• 広範なサポート: NVIDIA、Groq、Google を含む 12 以上のプロバイダーから 80 以上のモデルにアクセス可能。
• 柔軟なルーティング: 機能タグ（例：tag:coding）や最小コンテキスト窓フィルタによるルーティングをサポート。
• ローカル管理: プロバイダーの管理、モデルのピン留め、QoS 設定の調整が可能な Web UI を内蔵。