aurelio-labs/semantic-router

解决的问题

Semantic Router 为 LLM 和 AI 智能体提供高速决策层。它消除了为了决定使用哪个工具或采取哪条路径而等待缓慢 LLM 生成的需要，从而降低了延迟并提高了对对话流的控制。

工作原理

该项目不使用 LLM 来分类意图，而是使用语义向量空间。它允许开发者定义包含名称和一组示例语句的 Route 对象。然后 RouteLayer 使用嵌入模型 (encoder) 将用户查询与这些预定义路由进行比较，以找到语义上最匹配的结果，并将请求路由到适当的路径。

适用对象

构建 AI 智能体和 LLM 驱动的聊天机器人，并且需要将用户输入快速、确定性地路由到特定函数、工具或对话提示，而无需承担完整 LLM 调用开销的开发者。

亮点

• 快速决策：使用嵌入而非 LLM 生成来进行路由决策。
• 灵活的编码器：支持包括 OpenAI、Cohere、Hugging Face 和 FastEmbed 在内的多种嵌入提供商。
• 本地执行：能够使用 HuggingFaceEncoder 和 LlamaCppLLM 进行完全本地化的路由运行。
• 向量数据库集成：集成 Pinecone 和 Qdrant 以管理语句向量空间。
• 多模态支持：能够处理多模态路由，以识别不同类型的视觉输入。
• LangChain 集成：与 LangChain Agents 具有开箱即用的集成功能。