Consilium：多LLM協作平台

Consilium 是一個多LLM平台，旨在透過結構化的辯論與研究，使多個 AI 模型達成共識。此系統於 Gradio Agents & MCP Hackathon 期間開發，能同時作為視覺化的 Gradio 介面與 Model Context Protocol（MCP）伺服器，讓 AI 專家即時協作解決複雜問題。

技術架構與視覺基礎

Consilium 使用自訂的 Gradio 元件，打造「撲克式圓桌」的視覺介面。此介面會顯示參與者、對話氣泡、思考狀態與研究活動，提供協作過程的即時視覺化流程。

會話狀態管理

為了維持互動流程，Consilium 採用基於會話的字典系統。每位使用者會透過 user_sessions[session_id] 被指派一個獨立的狀態儲存空間，追蹤以下參數：

  • Participants：討論中活躍模型的列表。
  • Messages：對話的歷史紀錄。
  • Current Speaker：目前提供輸入的代理。
  • Thinking/ShowBubbles：管理思考指示器與對話氣泡視覺狀態的陣列。

狀態更新透過 update_visual_state() 回呼函式處理，將增量的 JSON 狀態變更推送至前端，以同步渲染。

多代理辯論動態

為防止模型僅僅相互贊同，Consilium 實作了不同的角色以促進建設性的辯論。每個代理都被指派特定的人格，確保觀點多元化：

  • Standard：提供具推理與證據的專業分析。
  • Expert Advocate：熱情且堅定地為特定立場辯護。
  • Expert Critic：嚴謹地指出缺陷、風險與弱點。
  • Strategic Advisor：聚焦於實務執行與可行的洞見。
  • Research Specialist：提供權威且基於證據的見解。
  • Innovation Catalyst：挑戰傳統思維，提出突破性方案。

共識與溝通模式

使用者可以設定溝通結構，以控制資訊在代理之間的流向：

  • Full-Context：預設模式，所有代理共享相同的上下文。
  • Ring：每個 LLM 只接收前一位參與者的回應。
  • Ring：每個 LLM 只接收前一位參與者的回應。
  • Star：所有訊息皆經由領先分析師（lead analyst）傳遞，充當中心協調者。

為了得到最終結論，系統會使用領先分析師 LLM 來綜合最終結果，並評估是否已達成共識。討論輪次（可設定 1 至 5 輪）可增加，以提升達成共識的可能性。

模型選擇與研究整合

Consilium 目前支援多種模型，包括 Mistral Large、DeepSeek‑R1、Meta‑Llama‑3.3‑70B 與 QwQ‑32B。

研究代理整合

對於支援函式呼叫的模型，Consilium 會整合專屬的研究代理，作為另一位圓桌參與者。此代理透過統一的函式呼叫處理器，為所有函式呼叫模型提供一致的外部資源存取。研究代理可存取以下五種特定來源：

  • 網路搜尋
  • 維基百科
  • arXiv
  • arXiv
  • GitHub
  • SEC EDGAR

研究品質會根據新近性、權威性、具體性與相關性，以 BaseTool 類別架構進行評分。

互操作性與未來方向

Consilium 正在演進，以整合 Open Floor Protocol（OFP），這是一套標準化的 JSON 訊息格式系統，用於跨平台代理通訊。此機制讓代理能持續保持對話意識，並允許樓層管理員動態邀請或移除代理。

平台的架構對應多種 OFP 互動模式：

  • Delegation：在代理之間轉移控制權。
  • Channeling：不做修改地傳遞訊息。
  • Mediation：在幕後協調。
  • uma Orchestration：多個代理協同合作。

開發者強調，AI 的未來在於能促進專門化小型語言模型（SLM）與專屬研究代理之間有效協作的系統，這可能成為通用大型語言模型的替代方案。

Sources