vllm-project/semantic-router

解決する課題

AI モデルとコンピューティングリソースの断片化に対処します。単一のモデルに依存する代わりに、開発者が特定のタスク、コスト、レイテンシー、場所の要件に基づいて、最も適切なモデルとバックエンドを選択または組み合わせることができる、プログラム可能な決定レイヤーを提供します。

仕組み

エージェントハーネスとさまざまなモデルバックエンドの間の API ゲートウェイとして機能します。エージェントハーネスがループと状態を管理する一方で、Router は定義されたポリシーを使用して、ローカル、プライベート、またはクラウドコンピューティングの設定済みバックエンドに呼び出しをルーティングします。単一のモデルを選択したり、複数のモデル（モデルの混合）を組み合わせてパフォーマンスを最適化したりできます。

対象者

モデルとハードウェアの異種環境で、品質、コスト、レイテンシーを最適化する必要がある、AI エージェントと LLM アプリケーションを構築する開発者。

ハイライト

• プログラム可能な決定レイヤー：タスクに最適なモデルにリクエストを自動的にルーティングするポリシーを設定します。
• マルチバックエンドサポート：ローカル、プライベート、クラウドコンピューティングをシームレスに切り替えます。
• モデルの混合：単一の呼び出しで複数のモデルを組み合わせる機能。
• 統合された幻覚検出：生成的な幻覚検出のためのエンドポイントとして LettuceDetect などの機能が含まれます。