SomeOddCodeGuy/WilmerAI

解決的問題

WilmerAI 提供了一種超越簡單關鍵字驅動的提示路由方法。它解決了 LLM 在決定由哪個專用模型或工具處理請求時缺乏上下文的問題，以及單次回應（one-shot）常導致結果品質較低的局限性。

工作原理

WilmerAI 的核心是一個基於節點的工作流引擎。它使用 JSON 檔案定義一系列步驟（節點），這些步驟可以協調多個 LLM、呼叫外部工具或執行自訂腳本。

關鍵機制包括：

• 上下文感知路由：分析完整的對話歷史，將提示路由到正確的專用工作流（例如 "程式設計" 或 "創意"）。
• 多 LLM 協調：允許單一工作流內的不同節點連接到不同的 LLM 端點（本地或雲端），為每個特定子任務使用最佳模型。
• 有狀態記憶：採用四部分記憶系統（時間順序摘要、滾動摘要、向量資料庫和狀態文件），以維持長期對話上下文。
• API 網關：提供與 OpenAI 和 Ollama 兼容的端點，使其可作為現有前端工具（如 Open WebUI 或 SillyTavern）的後端。

適用對象

專為希望對 LLM 協調方式擁有細緻控制的使用者設計，適用於在不同硬體上運行多個本地 LLM 的使用者，以及希望建構複雜、半自主 AI 代理但不依賴完全自主、不可預測代理的開發者。

主要亮點

• 基於節點的工作流：將複雜任務分解為可重用、鏈式思考過程，透過 JSON 定義。
• 高階路由：在工作流中使用完整的對話歷史進行初始提示路由和條件性 "if/then" 邏輯判斷。
• 分散式 LLM 支援：可將任務分發到運行不同模型大小的多台電腦上。
• 隱私優先：專為本地部署設計，支援對話檔案的 Fernet 加密和日誌中請求資訊的脫敏。
• 工具整合：支援 OpenAI 風格的工具呼叫，以及實驗性的代理式 MCP（Model Context Protocol）伺服器工具呼叫。