cheaper-inference/OmniRoute

OmniRoute – 単一のエンドポイントで数十の LLM プロバイダーを呼び出せる無料の「AI ゲートウェイ」

概要 – OmniRoute は、375 以上の AI モデルプロバイダー（OpenAI、Claude、Gemini など）を 1 つの HTTP API（/v1/chat/completions 互換）の背後に集約するセルフホスト型サービス（npm パッケージ、Docker イメージ、または Electron アプリとして利用可能）です。サポートされているプロバイダーの API キーを登録すると、OmniRoute は各リクエストを最適なバックエンドにルーティングし、プロバイダーがダウンしたりクォータに達したりした場合は自動的にフォールバックします。

重要性 – LLM API の状況は断片化されています。各ベンダーには独自の URL、認証方式、レート制限、価格設定があります。OmniRoute はその摩擦を取り除き、さらに多くのプロバイダーの無料枠クォータを積み重ね、150 以上の無料枠サービスで推定 月間約 16 億トークン をユーザーに提供します。また、圧縮レイヤー（RTK + Caveman）を適用して、トークン使用量を 15〜95% 削減し、無料利用をさらに延長します。

主な機能

• 大規模なプロバイダーカタログ – 375 プロバイダー、1,320 の一意のモデル ID、無料枠の予算と残りクォータを表示するライブダッシュボード。
• 自動ルーティングとフォールバック – model: "auto" を選択すると、OmniRoute が健全なプロバイダーを選択します。失敗した場合は、シームレスに別のプロバイダーを再試行します。
• クォータ認識スケジューリング – 各プロバイダーのトークン制限を追跡し、単一の無料枠を枯渇させないようにトラフィックを分散します。
• トークン圧縮 – 組み込みの RTK + Caveman 圧縮により、対象の呼び出しで最大 95% のトークンを節約できます。
• マルチモダリティ – テキスト、ビジョン、オーディオ、ビデオモデルをサポート（「Modality Bridge」経由）。
• CLI およびエージェント統合 – 37 以上のコマンドラインツールとコーディングエージェントを同じ OmniRoute エンドポイントにポイントできます。
• ヘッドレス/サーバーモード – バックグラウンドサービス（serve --headless）またはデスクトップ Electron アプリとして実行。
• プライバシー優先 – すべてのルーティングはローカルで行われます。API キーは、明示的に共有しない限り、マシンから離れることはありません。

開始方法

1. npm（npm i -g omniroute）、Docker、または Electron アプリをダウンロードしてインストールします。
2. サービスを実行し、Web ダッシュボードを開き、使用するプロバイダーの API キーを追加します。
3. 生成された OmniRoute キーを任意のクライアント（cURL、Python、Node など）で使用し、標準の OpenAI 互換エンドポイントを呼び出します。

典型的なユースケース – チャットボットを構築する開発者が OpenAI の使用料金を回避したい場合。OmniRoute をインストールすることで、数十の無料枠 LLM を利用でき、すべての無料クォータが使い果たされた場合にのみ有料プロバイダーに自動的に切り替え、組み込みの圧縮によりトークンコストを削減できます。

実行環境 – Node.js または Docker を実行できる任意のプラットフォームで動作し、クロスプラットフォームの Electron デスクトップアプリとしても提供されます。

コミュニティとサポート – 活発な Discord、Telegram、WhatsApp グループに加え、公開ロードマップとスポンサーシップオプションがあります。

---

TL;DR – OmniRoute は、数百の LLM API を単一のエンドポイントに統合し、自動ルーティング、トークン節約、プロバイダー間の無料枠クォータの活用を可能にする無料のオープンソースゲートウェイです。