Continuum-AI-Corp/OrcaRouter-Lite

解決する課題

OrcaRouter Lite はセルフホスト型の LLM ルーターで、ユーザーは単一の OpenAI 互換 API を通じて複数の AI プロバイダー（OpenAI、Anthropic、Google など）を管理できます。統一インターフェースと、特定のタスクに最もコスト効率の高いモデルを自動的に選択する方法を提供することで、アプリケーションに複雑なルーティングロジックや手動のコスト最適化コードを書く必要をなくします。

仕組み

このシステムはプロキシサーバーとして機能します。ユーザーは各プロバイダーに自分の API キー（BYOK）を提供し、サーバーはリクエストを適切なモデルにルーティングします。重要な機能は model="auto" 設定で、リクエストの特定の要件（ビジョン機能や JSON モードなど）を満たす最も安価な利用可能なモデルを自動的に選択します。また、Anthropic と Gemini のネイティブプロトコルエンドポイントもサポートしており、これらの特定の SDK を使用するクライアントは、OpenAI 互換のラッパーを必要とせずに直接接続できます。

対象ユーザー

LLM インフラストラクチャの制御を維持するためにルーターをセルフホストしながら、マルチプロバイダーサポート、自動コスト最適化、およびローカルプロバイダーが失敗した場合のホスト型サービスへの管理されたフォールバックの恩恵を受けたい開発者とチーム向けに設計されています。

ハイライト

• 自動ルーティング：model="auto" 機能は、リクエスト要件に基づいて最も安価で能力のあるモデルを選択します。
• マルチプロトコルサポート：OpenAI、Anthropic、Gemini のワイヤーフォーマットをネイティブに受け入れます。
• クロスプロバイダープロンプトキャッシュ：異なるプロバイダー間で決定論的なリクエストをキャッシュすることで、コストとレイテンシを削減します。
• セルフホストダッシュボード：プロバイダーキー、ルーティング戦略の管理、および支出とレイテンシに関するローカル分析の表示のための組み込みダッシュボードが含まれています。
• 管理されたフォールバック：ユーザーがキーを管理していないプロバイダー向けのセーフティネットとして、OrcaRouter のホスト型バージョンを使用するように構成できます。