vllm-project/semantic-router

解决的问题

它解决了 AI 模型和计算资源碎片化的问题。它不是依赖单一模型，而是提供一个可编程的决策层，让开发人员可以根据特定任务、成本、延迟和位置需求，选择或组合最合适的模型和后端。

运作方式

它作为代理框架和各种模型后端之间的 API 网关。代理框架管理循环和状态，而 Router 使用定义的策略，将调用路由到本地、私有或云计算中的已配置后端。它可以选择单一模型，或组合多个模型（模型混合）以优化性能。

适用对象

构建 AI 代理和 LLM 应用程序的开发人员，他们需要在异构的模型和硬件环境中，优化质量、成本和延迟。

重点

• 可编程决策层：设置策略，自动将请求路由到最适合任务的模型。
• 多后端支持：在本地、私有和云计算之间无缝切换。
• 模型混合：能够为单个调用组合多个模型。
• 集成幻觉检测：包含 LettuceDetect 等功能，可作为端点进行生成式幻觉检测。