aurelio-labs/semantic-router

解決する課題

Semantic Routerは、LLMおよびAIエージェント向けに高速な意思決定レイヤーを提供します。どのツールを使用するか、あるいはどのパスに進むかを決定するために低速なLLMの生成を待つ必要がなくなり、レイテンシを削減し、会話フローの制御を向上させます。

仕組み

意図を分類するためにLLMを使用する代わりに、このプロジェクトは意味ベクトル空間を使用します。開発者は、名前と一連の例文を含む Route オブジェクトを定義できます。次に RouteLayer が埋め込みモデル（エンコーダー）を使用して、ユーザーのクエリをこれらの定義済みルートと比較し、意味的に最も類似した一致を見つけ出し、リクエストを適切なパスにルーティングします。

対象者

フルLLM呼び出しのオーバーヘッドなしに、ユーザー入力を特定の関数、ツール、または会話プロンプトへ高速かつ決定論的にルーティングする必要がある、AIエージェントやLLM搭載チャットボットを構築している開発者。

ハイライト

• 高速な意思決定: ルーティング決定にLLMの生成ではなく埋め込みを使用します。
• 柔軟なエンコーダー: OpenAI、Cohere、Hugging Face、FastEmbedを含む複数の埋め込みプロバイダーをサポートしています。
• ローカル実行: HuggingFaceEncoder と LlamaCppLLM を使用して、完全にローカルでのルーティングを実行できます。
• ベクトルデータベース統合: 発話のベクトル空間を管理するために、Pinecone および Qdrant と統合されています。
• マルチモーダル対応: さまざまな種類の視覚的入力を識別するためのマルチモーダルルートを処理できます。
• LangChain 統合: LangChain Agents とのすぐに使える統合機能。