irthomasthomas/llm-consortium

해결하는 문제

LLM Consortium은 llm 패키지용 플러그인으로, 모델 콘소시엄 시스템을 구현합니다. 다양한 언어 모델을 구조적 대화, 평가, 반복적 개선을 통해 공동으로 복잡한 문제를 해결하도록 조율함으로써 LLM 응답의 정확성과 신뢰성을 향상시키는 문제를 해결합니다.

작동 방식

이 시스템은 병렬 추론 방식을 사용하여, 여러 모델(그리고 각 모델의 여러 인스턴스)에 동시에 프롬프트를 전송합니다. 지정된 중재 모델이 이러한 응답을 통합하거나 순위 매깁니다. 이 과정은 반복적으로 수행되며, 중재 모델이 모델들에게 피드백을 제공하여 개선을 유도하고, 신뢰도 임계값에 도달하거나 최대 반복 횟수에 도달할 때까지 진행됩니다.

주요 메커니즘:

• 의미적 합의 필터링: 임베딩을 사용하여 응답을 클러스터링하고, 중재 전에 가장 밀도 높은 의미 영역을 유지합니다.
• 판단 방법: 중재 모델이 작동하는 다양한 방식을 지원하며, 완전한 통합, 단순 순위 매기기, 또는 사고의 연쇄 순위 매기기 등이 포함됩니다.
• 기하학적 신뢰도: 응답 간 일치를 임베딩 공간 내 위치 기반으로 측정합니다.
• 데이터베이스 로깅: 모든 상호작용이 나중에 분석할 수 있도록 SQLite 데이터베이스에 저장됩니다.

대상 사용자

llm CLI 도구를 사용하고, 다양한 모델 제공업체 간의 합의 기반 접근법을 활용하여 LLM 출력 품질을 높이고자 하는 개발자 및 AI 연구자.

주요 기능

• 다중 모델 조율: 다양한 모델과 각 모델에 대한 특정 인스턴스 수를 조율 가능.
• 반복적 개선: 복수 라운드의 대화와 평가를 통해 출력을 자동으로 개선.
• 고급 중재: rank-cot을 포함한 유연한 판단 방법 제공.
• 임베딩 시각화: 실행 중 임베딩을 프로젝션하고 HTML로 내보낼 수 있음.
• 대화 연속성: 대화 ID를 사용해 이전 콘소시엄 대화를 계속할 수 있음.
• 토큰 효율성: 중간 통합을 건너뛰어 타겟된 개선에 집중하고 토큰 사용량을 줄일 수 있는 옵션 제공.