ellipticmarketing/modelrelay

解決する課題

modelrelayは、OpenAI互換のローカルルーターであり、開発者がAPI利用料を支払うことなく、さまざまなプロバイダーの最高の無料コーディングモデルにリクエストをルーティングできるように設計されています。単一の統一されたインターフェースを提供することで、異なるAIプロバイダーやその特定のAPI形式を手動で切り替える必要をなくします。

仕組み

このツールはローカルプロキシサーバー（http://localhost:7352/v1 でアクセス可能）として機能し、12以上のプロバイダー（NVIDIA、Groq、OpenRouter、Googleなど）の無料モデルをベンチマークし、サービス品質（QoS）スコアに基づいて最高のパフォーマンスを発揮するモデルにリクエストを自動転送します。このスコアは、モデルのインテリジェンスパーセンタイルと、最近観測された平均レイテンシを組み合わせて算出されます。

ユーザーは、特定のモデルID、機能タグ（例：tag:coding）、または auto-fastest 識別子を使用してリクエストをルーティングできます。また、最小コンテキストウィンドウサイズによるフィルタリング（例：auto-fastest+min_ctx:128k）もサポートしています。

対象ユーザー

主に、複数のAPIキーを管理したり利用料を支払ったりすることなく、幅広い高性能な無料LLMにアクセスしたいAIコーディングアシスタントや開発者を対象としています。

ハイライト

• OpenAI互換: 既存のツールやスクリプトのドロップインリプレースメントとして機能します。
• 自動ルーティング: 利用可能な中で最も高速かつ高性能なモデルを自動的に選択します。
• 広範なモデルサポート: 12以上のプロバイダーから80以上のモデルにアクセス可能です。
• コンテキストウィンドウフィルタリング: 必要な最小コンテキストサイズに基づいてモデルをフィルタリングできます。
• カスタムタグ付け: Web UIを通じて、ユーザーが独自のルーティングタグをモデルに割り当てることができます。
• 柔軟なインストール: NPMまたはDocker経由で利用可能です。