irthomasthomas/llm-consortium

何を解決するか

LLM Consortium は llm パッケージ用のプラグインであり、モデルコンソーシアムシステムを実装しています。複数の多様な言語モデルを構造的な対話、評価、反復的改善を通じて協働して複雑な問題を解決するように調整することで、LLMの応答の正確性と信頼性を向上させる問題に対処します。

動作方法

このシステムは並列推論法を使用し、複数のモデル（およびそれらの複数のインスタンス）に同時にプロンプトを送信します。指定された仲裁モデルがこれらの応答を統合または順位付けします。このプロセスは複数回繰り返され、仲裁モデルがモデルにフィードバックを提供して改善を促し、信頼度の閾値に達するか、最大反復回数に達するまで続きます。

主なメカニズム：

• 意味的コンセンサスフィルタリング：埋め込みを使用して応答をクラスタリングし、仲裁の前に最も密集した意味的領域を保持します。
• 判断方法：仲裁モデルが動作するさまざまな方法をサポートしており、完全な統合、単純な順位付け、または思考の連鎖（chain-of-thought）順位付けが含まれます。
• 幾何学的信頼度：応答間の一致を埋め込み空間内の位置に基づいて測定します。
• データベースログ：すべての相互作用が後で分析できるようにSQLiteデータベースに保存されます。

対象ユーザー

llm CLIツールを使用し、異なるモデルプロバイダー間でコンセンサスに基づくアプローチを活用してLLM出力の品質を向上させたい開発者およびAI研究者。

特徴

• マルチモデルの調整：複数の異なるモデルと、各モデルごとの特定のインスタンス数を調整可能。
• 反復的改善：複数ラウンドの対話と評価を通じて出力を自動的に改善。
• 高度な仲裁：rank-cot を含む柔軟な判断方法。
• 埋め込みの可視化：実行中の埋め込みをプロットし、HTML形式でエクスポート可能。
• 会話の継続：会話IDを使用して以前のコンソーシアム会話を継続可能。
• トークン効率：中間の統合をスキップしてターゲット改善に集中し、トークン使用量を削減するオプションあり。