aurelio-labs/semantic-router

解决的问题

Semantic Router 为 LLM 和 AI 智能体提供了一个高速决策层。它无需依赖缓慢且昂贵的 LLM 调用来确定如何处理用户输入（例如选择使用哪个工具或是否触发特定工作流），而是在毫秒级内完成这些路由决策。

工作原理

它通过使用向量空间嵌入或专门的决策模型，将用户请求的语义含义与预定义的“路由”集进行比较。通过定义包含示例语句的 Route 对象，系统可以对传入的查询进行分类。它支持通过 FastEmbed 进行本地执行，与 Pinecone 和 Qdrant 等各种向量数据库集成，并提供校准功能，允许开发者设置置信度阈值，以防止路由器做出错误决策。

适用人群

本项目适用于构建 LLM 应用或智能体的开发者，他们需要添加一个快速、可靠的控制层来管理对话流程、工具选择或意图分类，而无需承受完整 LLM 生成带来的延迟。

亮点

• 低延迟： 在毫秒级内做出路由决策，比标准的基于 LLM 的分发方式快得多。
• 灵活的路由： 同时支持基于语义向量的匹配和基于逻辑的决策模型。
• 校准： 包含校准置信度分数的工具，允许系统在查询与任何定义的路由都不匹配时返回“无”结果。
• 可扩展： 与 LangChain 等流行工具集成，并支持包括 Pinecone、Qdrant 和 Postgres 在内的多种存储后端。
• 多模态： 除了文本外，还能够根据图像输入进行路由。