semantic-router: 一个为 LLMs 和 agents 使用语义向量空间进行路由的超快速决策层

它解决了什么问题

Semantic Router 为 LLMs 和 AI agents 提供了一个高速决策层。它消除了等待缓慢的 LLM 生成来决定使用哪个工具或如何路由请求的需求，从而降低了延迟并提高了响应时间。

它是如何工作的

该项目不使用 LLM 来对查询进行分类，而是使用语义向量空间。它允许开发者定义包含一组示例话语的 Route 对象。当用户查询到达时，该项目将查询编码为向量，并将其与路由的话语进行比较，以根据语义含义确定最合适的路径。

它是为谁准备的

正在构建 LLM 驱动的应用和 AI agents 的开发者，他们需要一种快速、高效的方式来处理意图分类和请求路由，而无需依赖昂贵或缓慢的 LLM 调用。

亮点

• 快速决策：使用向量嵌入而非 LLM 生成来进行路由决策。
• 灵活的编码器：支持多种嵌入提供商，包括 Cohere, OpenAI, Hugging Face, 和 FastEmbed。
• 本地执行：能够使用 HuggingFaceEncoder 和 LlamaCppLLM 运行完全本地的版本。
• 向量数据库集成：与 Pinecone 和 Qdrant 集成，用于管理话语向量空间。
• 多模态支持：能够基于多模态输入（例如，识别图像）进行路由。
• Agent 框架集成：可与 LangChain Agents 协作工作。