ianarawjo/ChainForge

解決する課題

ChainForgeは、LLMプロンプトを体系的にテストし比較する難しさを解決します。単一のモデルとの即興的なチャットに頼るのではなく、プロンプトのバリエーション、異なるモデル、およびさまざまなモデル設定を対戦テストするための構造化された環境を提供し、どの組み合わせが最高品質の応答をもたらすかを決定します。

仕組み

ReactFlowとFlaskで構築されたビジュアルデータフロー環境を使用し、ユーザーはノードのチェーンを作成できます。システムは「組合せの力」を活用し、入力変数のデカルト積を取ることで、選択した複数のLLM間でプロンプトのすべての可能な順列を自動的に生成して実行します。その後、ユーザーはPythonベースの評価ノードを適用して応答をスコアリングし、可視化ノードを使用して結果をプロットできます（例：箱ひげ図やヒストグラム）。

対象者

手動テストを超え、LLMの動作を評価しプロンプトテンプレートを最適化するためのより厳密でスケーラブルなアプローチが必要なプロンプトエンジニアやAI研究者のために設計されています。

ハイライト

• マルチモデルクエリ: 同じプロンプト順列を複数のLLMに同時に送信します。
• 組合せテスト: プロンプトテンプレートと入力変数のすべての組み合わせを自動的にテストします。
• 統合RAGサポート: アップロード、チャンク分割、検索、リランキングのためのブラウザベースおよびサーバーサイドノードを含みます。
• ビジュアル評価: LLM応答の数値およびブール値メトリクスを可視化するための組み込みツール。
• GenAI支援: 合成データテーブルの作成と評価関数のスターターコード生成のための機能。