council-of-high-intelligence: 단일 모델 편향을 피하기 위해 여러 LLM 제공업체에 걸쳐 구조화된 이견을 강제하는 멀티 페르소나 심의 프레임워크

council-of-high-intelligence: 단일 모델 편향을 피하기 위해 여러 LLM 제공업체에 걸쳐 구조화된 이견을 강제하는 멀티 페르소나 심의 프레임워크

해결하는 문제

단일 LLM의 '확신에 차 있지만 틀린' 답변 문제를 해결하기 위해, 단일 추론 경로를 구조화된 심의 프로세스로 대체합니다. 하나의 모델이 내놓는 최선의 추측 대신, 여러 독립적인 관점을 제공하고, 집단 사고를 방지하기 위해 이견을 강제하며, 거짓된 합의를 강요하기보다 무엇이 알려지지 않았는지를 강조합니다.

작동 방식

이 시스템은 역사적 인물(예: Socrates, Feynman, Machiavelli)을 기반으로 한 18개의 AI 페르소나로 구성된 '의회(council)'를 소집합니다. 이들은 서로 다른 지적 전통과 긴장감을 조성하도록 설계된 '극성 쌍(polarity pairs)'을 가집니다. 또한, 진정한 모델 다양성을 보장하기 위해 멀티 제공업체 자동 라우팅 시스템을 사용하여 이러한 페르소나들을 다양한 LLM 제공업체(Claude, OpenAI, Gemini, Ollama 등)에 분산 배치합니다.

심의는 세 가지 모드로 진행됩니다:

  • Full Mode: 문제 재진술 게이트, 독립적 분석, 교차 검증, 그리고 평결 합성 과정을 포함하는 7단계 프로세스입니다.
  • Quick Mode: 더 간단한 결정을 위한 신속한 2라운드 분석입니다.
  • Duo Mode: 특정 긴장 관계를 탐구하기 위해 두 대립하는 페르소나 간의 변증법적 대화입니다.

대상 사용자

Claude Code와 Codex를 사용하는 사용자 중 복잡한 결정을 내려야 하며 단일 AI 모델의 편향과 환각을 피하고자 하는 사용자들을 위해 설계되었습니다.

주요 특징

  • Multi-Provider Routing: 단일 모델 편향을 방지하기 위해 페르소나를 서로 다른 LLM 제공업체에 자동으로 분산합니다.
  • Problem Restate Gate: 잘못 구성된 프롬프트를 잡아내기 위해, 분석 전 모든 구성원이 질문을 재구성하도록 강제합니다.
  • Polarity Pairs: 반대되는 관점이 표현되도록 특정 페르소나 쌍(예: Socrates vs. Feynman)을 사용합니다.
  • Enforcement Mechanisms: 조기 합의를 방지하기 위해 이견 할당량, 참신함 게이트, 그리고 도메인 가중치 투표를 구현합니다.

Sources