SomeOddCodeGuy/WilmerAI

WilmerAI is one of the oldest LLM semantic routers. It uses multi-layer prompt routing and complex workflows to allow you to not only create practical chatbots, but to extend any kind of application that connects to an LLM via REST API. Wilmer sits between your app and your many LLM APIs, so that you can manipulate prompts as needed.

What it solves

WilmerAI 解决了仅依赖关键词或最近消息的简单提示路由器的局限。它通过完整的对话历史和结构化的节点式编排系统，准确理解用户在复杂对话中的意图，并将请求路由到最合适的 LLM 或任务序列。

How it works

在核心，WilmerAI 使用 基于节点的工作流引擎，流程在 JSON 文件中定义。

  • Contextual Routing：分析整个对话历史以选择专门的工作流（例如 Coding 或 Creative），或在工作流内部做条件式“if/then”决策。
  • Orchestration：工作流中的每个节点可以触发不同的 LLM 端点、调用外部工具、运行自定义 Python 脚本，或执行其他嵌套工作流。
  • Memory System：通过四部分系统保持状态：时间顺序摘要、滚动摘要、可搜索的向量数据库，以及状态文档。
  • API Gateway：作为中间件，提供兼容 OpenAI 与 Ollama 的端点，使其能够与 Open WebUI、SillyTavern 等现有前端集成，而无需更改客户端。

Who it’s for

它面向希望对 LLM 编排拥有细粒度控制、想将工作负载分布到多个本地或专有 LLM 实例的用户，以及想在不依赖完全自主（且常不可靠）代理框架的情况下构建复杂半自主代理的开发者。

Highlights

  • Multi-LLM Coordination：能够在单个请求中使用多种模型（例如小型本地模型负责摘要，大型云模型负责推理）。
  • Distributed Inference：支持将任务路由到运行不同 LLM API 的多台物理计算机。
  • Structured Output：使用符合语法的 JSON Schema 输出进行路由和抽取，即使使用小型本地模型也能保证可靠性。
  • Stateful Memory：结合摘要和向量搜索的混合记忆，提供深度上下文感知。
  • MCP Integration：实验性支持 Model Context Protocol（MCP）用于代理工具发现。
  • Privacy-Centric：设计上尽量减少外部调用，并提供可选的对话数据加密存储。