Consilium: Multi-LLM 협업 플랫폼

Consilium은 구조화된 토론과 연구를 통해 여러 AI 모델이 합의에 도달할 수 있도록 설계된 멀티-LLM 플랫폼입니다. Gradio Agents & MCP Hackathon 기간 동안 개발된 이 시스템은 시각적인 Gradio 인터페이스와 Model Context Protocol (MCP) 서버로 모두 통합되어, AI 전문가들이 복잡한 질문에 대해 실시간으로 협업할 수 있도록 합니다.

기술 아키텍처 및 시각적 기반

Consilium은 커스텀 Gradio 컴포넌트를 사용하여 "포커 스타일 라운드테이블" 시각적 인터페이스를 생성합니다. 이 인터페이스는 참가자, 말풍선, 생각 중인 상태, 연구 활동을 표시하여 협업 과정의 실시간 시각적 흐름을 제공합니다.

세션 상태 관리

상호작용 흐름을 유지하기 위해 Consilium은 세션 기반 딕셔너리 시스템을 사용합니다. 각 사용자는 user_sessions[session_id]를 통해 격리된 상태 저장소를 할당받으며, 다음 매개변수를 추적합니다:

Participants: 토론 중인 활성 모델 목록.
Messages: 대화 기록.
Current Speaker: 현재 입력을 제공하고 있는 에이전트.
Thinking/ShowBubbles: 생각 중인 표시기와 말풍선의 시각적 상태를 관리하는 배열.

상태 업데이트는 update_visual_state() 콜백을 통해 처리되며, 이는 동기화된 렌더링을 위해 증분 JSON 상태 변형을 프론트엔드로 푸시합니다.

멀티 에이전트 토론 역학

모델들이 단순히 서로에게 동의하는 것을 방지하기 위해, Consilium은 생산적인 토론을 촉진하기 위해 뚜렷렷한 역할을 부여합니다. 각 에이전트는 다양한 관점을 보장하기 위해 특정 페르소나를 할당받습니다:

Standard: 추론과 증거를 바탕으로 전문가 분석을 제공합니다.
Expert Advocate: 확신을 가지고 전문화된 입장을 열정적으로 옹호합니다.
Expert Critic: 결함, 위험 및 약점을 식별하는 엄격한 비평가입니다.
Strategic Advisor: 실질적인 구현과 실행 가능한 통찰력을 제공하는 데 집중합니다.
Research Specialist: 권위 있고 증거에 기반한 통찰력을 제공합니다.
Innovation Catalyst: 관습적인 사고에 도전하고 획기적인 접근 방식을 제안합니다.

합의 및 통신 모드

사용자는 에이전트 간의 정보 흐름을 제어하기 위해 통신 구조를 구성할 수 있습니다:

Full-Context: 모든 에이전트가 동일한 컨텍스트를 공유하는 기본 모드입니다.
Ring: 각 LLM은 이전 참가자의 응답만 받습니다.
Star: 모든 메시지는 중앙 코디네이터 역할을 하는 리드 분석가(lead analyst)를 통해 흐릅니다.

최종 결론에 도달하기 위해, 시스템은 리드 분석가 LLM을 사용하여 최종 결과를 합성하고 합의가 이루어졌는지 평가합니다. 토론 라운드 수(1에서 5까지 구성 가능)를 늘려 합의 가능성을 높일 수 있습니다.

모델 선택 및 연구 통합

Consilium은 현재 Mistral Large, DeepSeek-R1, Meta-Llama-3.3-70B, QwQ-32B를 포함한 선택된 모델들을 지원합니다.

연구 에이전트 통합

함수 호출(function calling)을 지원하는 모델의 경우, Consilium은 또 다른 라운드테이블 참가자로서 활동하는 전용 연구 에이전트를 통합합니다. 이 에이전트는 통합된 함수 호출 핸들러를 통해 모든 함수 호출 모델에 대해 외부 리소스에 대한 일관된 접근을 제공합니다. 연구 에이전트는 다음 다섯 가지 특정 소스를 제공합니다:

Web Search
Wikipedia
arXiv
GitHub
SEC EDGAR

연구 품질은 BaseTool 클래스 아키텍처를 사용하여 최신성, 권위성, 구체성 및 관련성을 기준으로 점수가 매겨집니다.

상호 운용성 및 향후 방향

Consilium은 플랫폼 간 에이전트 통신을 위한 표준화된 JSON 메시지 포맷팅 시스템인 Open Floor Protocol (OFP)을 통합하기 위해 진화하고 있습니다. 이를 통해 에이전트들이 지속적인 대화 인지 능력을 유지하고, 플로어 매니저가 에이전트를 동적적으로 초대하거나 제거할 수 있게 합니다.

플랫폼의 아키텍처는 여러 OFP 상호작용 패턴을 다음과 같이 매핑합니다:

Delegation: 에이전트 간의 제어권 전송.
Channeling: 수정 없이 메시지를 전달.
Mediation: 막후에서 조정.
Orchestration: 여러 에이전트의 협업.

개발자는 AI의 미래가 전문화된 소형 언어 모델(SLM)과 전용 연구 에이전트 간의 효과적인 협업을 가능하게 하는 시스템에 있다고 강조하며, 이는 범용 대형 언어 모델에 대한 대안을 제공할 수 있습니다.