irthomasthomas/llm-consortium
Parallel Reasoning: llm-consortium orchestrates mulitple LLMs, iteratively refines & achieves consensus.
解决的问题
LLM Consortium 是 llm 包的插件，实现了模型联盟系统。它通过结构化对话、评估和迭代优化，协调多个多样化的语言模型协同解决复杂问题，从而提升 LLM 响应的准确性和可靠性。
工作原理
该系统采用并行推理方法，将提示并行发送给多个模型（以及这些模型的多个实例）。指定的仲裁模型随后对这些响应进行综合或排序。该过程可多次迭代，仲裁模型向模型提供反馈以促进改进，直到达到置信度阈值或达到最大迭代次数为止。
关键机制包括：
- 语义共识过滤：使用嵌入对响应进行聚类，在仲裁前保留最密集的语义区域。
- 判断方法：支持仲裁模型的不同工作方式，包括完整综合、简单排序或思维链排序。
- 几何置信度：基于响应在嵌入空间中的位置来衡量响应之间的一致性。
- 数据库日志：所有交互均存储在 SQLite 数据库中，便于后续分析。
适用人群
使用 llm CLI 工具并希望利用跨不同模型提供商的共识方法提升 LLM 输出质量的开发者和 AI 研究人员。
主要亮点
- 多模型协调：可协调来自多个不同模型及各模型特定实例数量的响应。
- 迭代优化：通过多轮对话和评估自动优化输出。
- 高级仲裁：支持灵活的判断方法，包括
rank-cot用于结构化评估。 - 嵌入可视化：可将运行时嵌入投影并导出为 HTML 可视化文件。
- 对话续接：支持使用对话 ID 继续之前的联盟对话。
- 令牌效率：可跳过中间综合，专注于目标改进并减少令牌使用。
相关
- 项目
- Dispatch
- 项目
- 项目
- 项目