aurelio-labs/semantic-router

解決的問題

Semantic Router 為 LLM 和 AI 代理提供高速決策層。它消除了為了決定使用哪個工具或採取哪條路徑而等待緩慢 LLM 生成的需要，從而降低了延遲並提高了對對話流的控制。

工作原理

該專案不使用 LLM 來分類意圖，而是使用語義向量空間。它允許開發者定義包含名稱和一組範例語句的 Route 物件。接著 RouteLayer 使用嵌入模型 (encoder) 將使用者查詢與這些預定義路由進行比較，以找到語義上最匹配的結果，並將請求路由到適當的路徑。

適用對象

正在構建 AI 代理和 LLM 驅動的聊天機器人，並且需要將使用者輸入快速、確定性地路由到特定函數、工具或對話提示，而無需承擔完整 LLM 調用開銷的開發者。

亮點

• 快速決策：使用嵌入而非 LLM 生成來進行路由決策。
• 靈活的編碼器：支援包括 OpenAI、Cohere、Hugging Face 和 FastEmbed 在內的多種嵌入提供商。
• 本地執行：能夠使用 HuggingFaceEncoder 和 LlamaCppLLM 進行完全本地化的路由運行。
• 向量資料庫整合：整合 Pinecone 和 Qdrant 以管理語句向量空間。
• 多模態支援：能夠處理多模態路由，以識別不同類型的視覺輸入。
• LangChain 整合：與 LangChain Agents 具有開箱即用的整合功能。