SomeOddCodeGuy/WilmerAI

WilmerAI is one of the oldest LLM semantic routers. It uses multi-layer prompt routing and complex workflows to allow you to not only create practical chatbots, but to extend any kind of application that connects to an LLM via REST API. Wilmer sits between your app and your many LLM APIs, so that you can manipulate prompts as needed.

What it solves

WilmerAI は、キーワードや最新メッセージのみに依存するシンプルなプロンプトルーターの限界を克服します。会話全履歴と構造化されたノードベースのオーケストレーションシステムを用いることで、複雑な対話におけるユーザー意図を正確に把握し、最適な LLM またはタスクシーケンスへリクエストをルーティングします。

How it works

WilmerAI の核となるのは ノードベースのワークフローエンジン で、プロセスは JSON ファイルで定義されます。

  • Contextual Routing: 会話全体を分析し、専門的なワークフロー（例: Coding や Creative）を選択したり、ワークフロー内で条件付き "if/then" 判定を行います。
  • Orchestration: ワークフロー内の各ノードは、異なる LLM エンドポイントを呼び出したり、外部ツールを起動したり、カスタム Python スクリプトを実行したり、他のネストされたワークフローを実行したりできます。
  • Memory System: 時系列サマリー、ローリングサマリー、検索可能なベクトルデータベース、ステートドキュメントの 4 つのパートで状態を保持します。
  • API Gateway: OpenAI および Ollama 互換のエンドポイントを提供するミドルウェアとして機能し、Open WebUI や SillyTavern といった既存フロントエンドとクライアント側の変更なしで統合できます。

Who it’s for

LLM のオーケストレーションを細かく制御したいユーザー、ローカルまたはプロプライエタリな複数の LLM インスタンスにワークロードを分散したいユーザー、そして完全自律（かつ信頼性に欠けることが多い）エージェントフレームワークに依存せずに複雑な半自律エージェントを構築したい開発者向けです。

Highlights

  • Multi-LLM Coordination: 1 つのリクエストで複数のモデル（例: 要約用の小型ローカルモデルと推論用の大型クラウドモデル）を組み合わせて使用可能。
  • Distributed Inference: 異なる LLM API を提供する複数の物理マシンにタスクを分散してルーティングできます。
  • Structured Output: JSON Schema に準拠した構文強制出力で、ルーティングと抽出を行い、小型ローカルモデルでも信頼性を確保。
  • Stateful Memory: サマリーとベクトル検索を組み合わせたハイブリッドメモリで、深い文脈認識を実現。
  • MCP Integration: エージェントツール発見のための Model Context Protocol（MCP）を実験的にサポート。
  • Privacy-Centric: 外部呼び出しを最小限に抑える設計で、会話データの暗号化保存もオプションで提供。