Continuum-AI-Corp/OrcaRouter-Lite

何を解決するか

OrcaRouter Lite は、複数の AI プロバイダー（OpenAI、Anthropic、Google など）を単一の OpenAI 互換 API で管理できる自己ホスト型 LLM ルーターです。カスタムルーティングロジックを書く必要や、複数のアプリケーションで複数の API キーを管理する必要がなくなり、特定の技術的要件を満たす最も安価なモデルを自動的に選択することでコスト削減を実現します。

動作方法

このシステムはプロキシサーバーとして機能します。ユーザーは自身の API キー（BYOK）をさまざまなプロバイダーに提供します。model="auto" でリクエストを送信すると、ルーターはリクエストの要件（視覚機能や JSON モードなど）を分析し、100 以上のモデルからタスクを処理できる最も安価なモデルを選択します。また、ユーザーがキーを持っていないモデル用に、ホストされた OrcaRouter のバージョンをフォールバックとして設定することも可能です。

対象ユーザー

自身の LLM ゲートウェイを自己ホストしてキーと分析データの制御を維持したい開発者やチーム向けです。一方で、マネージドルーティングレイヤーと Cursor、Aider、LangChain などのツール向けの統一 API の利便性も享受できます。

主な特徴

• 自動コスト最適化：model="auto" 機能により、リアルタイムの価格データに基づいて最も安価な対応可能なモデルを選択します。
• OpenAI 互換性：OpenAI チャットコンプリーションプロトコルを使用する任意の SDK やツールと即座に置き換え可能。
• クロスプロバイダーのプロンプトキャッシュ：異なる AI プロバイダー間で決定論的なリクエストをキャッシュすることで、コストとレイテンシを削減します。
• 内蔵アナリティクス：支出、レイテンシ、高価なモデルとの比較による潜在的な節約額を追跡できるローカルダッシュボードを備えています。
• マネージドフォールバック：サービスの可用性を確保するために、ホストされた API をアップストリームプロバイダーとして統合できる機能があります。