semantic-router: 一個使用語義向量空間進行路由，為 LLMs 和 agents 提供超快速決策層的工具

它解決了什麼問題

Semantic Router 為 LLMs 和 AI agents 提供了一個高速決策層。它消除了等待緩慢的 LLM 生成來決定使用哪個工具或如何路由請求的需求，從而降低延遲並縮短回應時間。

運作原理

該專案不使用 LLM 來分類查詢，而是使用語義向量空間。它允許開發者定義包含一組範例語句的 Route 物件。當使用者查詢到達時，該專案會將查詢編碼為向量，並將其與路由的語句進行比較，以根據語義意義來確定最合適的路徑。

對象是誰

正在構建 LLM 驅動的應用程式和 AI agents 的開發者，他們需要一種快速、高效的方式來處理意圖分類和請求路由，而無需依賴昂貴或緩慢的 LLM 調用。

重點特性

• 快速決策：使用向量嵌入（vector embeddings）而非 LLM 生成來進行路由決策。
• 靈活的編碼器：支援多種嵌入提供者，包括 Cohere、OpenAI、Hugging Face 和 FastEmbed。
• 本地執行：能夠使用 HuggingFaceEncoder 和 LlamaCppLLM 執行完全本地的版本。
• 向量資料庫整合：與 Pinecone 和 Qdrant 整合，用於管理語句向量空間。
• 多模態支援：能夠根據多模態輸入（例如識別圖像）進行路由。
• Agent 框架整合：可與 LangChain Agents 協作工作。