SomeOddCodeGuy/WilmerAI

WilmerAI is one of the oldest LLM semantic routers. It uses multi-layer prompt routing and complex workflows to allow you to not only create practical chatbots, but to extend any kind of application that connects to an LLM via REST API. Wilmer sits between your app and your many LLM APIs, so that you can manipulate prompts as needed.

What it solves

WilmerAI 解決了僅依賴關鍵字或最近訊息的簡易提示路由器的限制。它透過完整的對話歷史與結構化的節點式協調系統，準確理解使用者在複雜對話中的意圖，並將請求路由至最適合的 LLM 或任務序列。

How it works

在核心，WilmerAI 使用 基於節點的工作流程引擎，流程以 JSON 檔案定義。

  • Contextual Routing：分析整段對話歷史以選擇專門的工作流程（例如 Coding 或 Creative），或在工作流程內做條件式「if/then」決策。
  • Orchestration：工作流程中的每個節點可觸發不同的 LLM 端點、呼叫外部工具、執行自訂 Python 腳本，或執行其他嵌套工作流程。
  • Memory System：透過四部份系統維持狀態：時間順序摘要、滾動摘要、可搜尋的向量資料庫，以及狀態文件。
  • API Gateway：作為中介層，提供 OpenAI 與 Ollama 相容的端點，使其能與 Open WebUI、SillyTavern 等現有前端整合，且不需修改客戶端。

Who it’s for

此工具適合希望對 LLM 協調擁有細緻控制、想將工作負載分散至多個本地或專有 LLM 實例的使用者，以及想在不依賴完全自主（且常不可靠）代理框架的情況下，構建複雜半自主代理的開發者。

Highlights

  • Multi-LLM Coordination：能在單一請求中同時使用多種模型（例如小型本地模型負責摘要，大型雲端模型負責推理）。
  • Distributed Inference：支援將任務路由至多台執行不同 LLM API 的實體電腦。
  • Structured Output：以符合語法的 JSON Schema 輸出進行路由與抽取，即使使用小型本地模型亦能保證可靠性。
  • Stateful Memory：結合摘要與向量搜尋的混合記憶體，提供深度情境感知。
  • MCP Integration：實驗性支援 Model Context Protocol（MCP）以進行代理工具發現。
  • Privacy-Centric：設計上盡量減少外部呼叫，並提供可選的對話資料加密儲存。