aurelio-labs/semantic-router

解決する課題

Semantic Router は、LLM および AI エージェントのための高速意思決定レイヤーを提供します。ユーザーの入力をどのように処理するか（どのツールを使用するか、特定のワークフローをトリガーするかなど）を判断するために、低速で高コストな LLM 呼び出しに頼るのではなく、これらのルーティング判断をミリ秒単位で実行します。

仕組み

ユーザーのリクエストのセマンティックな意味を、ベクトル空間埋め込みや専門的な意思決定モデルを使用して、定義済みの「ルート」セットと比較することで機能します。サンプル発話を含む Route オブジェクトを定義することで、システムは受信したクエリを分類できます。FastEmbed を介したローカル実行、Pinecone や Qdrant などのさまざまなベクトルデータベースとの統合、および開発者が信頼度しきい値を設定してルーターの誤判断を防ぐためのキャリブレーション機能をサポートしています。

対象ユーザー

このプロジェクトは、LLM アプリケーションやエージェントを構築する開発者向けです。完全な LLM 生成による遅延なしに、会話フロー、ツール選択、または意図分類を管理するための高速で信頼性の高い制御レイヤーを追加する必要がある場合に最適です。

ハイライト

• 低遅延： ミリ秒単位でルーティング判断を行うため、標準的な LLM ベースのディスパッチよりも大幅に高速です。
• 柔軟なルーティング： セマンティックベクトルベースのマッチングとロジックベースの意思決定モデルの両方をサポートしています。
• キャリブレーション： 信頼度スコアを調整するツールが含まれており、クエリが定義されたルートと一致しない場合に「none」結果を返すように設定できます。
• 拡張性： LangChain などの一般的なツールと統合されており、Pinecone、Qdrant、Postgres を含む複数のストレージバックエンドをサポートしています。
• マルチモーダル： テキストに加えて、画像入力に基づいたルーティングも可能です。