ChainForge：用于提示工程和 LLM 假设测试的可视化工具包

它解决了什么问题

ChainForge 提供了一个可视化环境，用于“对抗测试”提示并比较 LLM 的响应。它超越了临时聊天的方式，使用户能够系统地分析不同提示变体、模型设置以及不同 LLM 本身如何影响生成响应的质量。

工作原理

它采用数据流编程模型（基于 ReactFlow 和 Flask），用户可以创建节点链。主要功能包括：

• 组合提示：对输入变量进行笛卡尔积，允许用户在多个提示模板和模型组合之间一次性发送数百个查询。
• 多模型查询：用户可以同时查询多个 LLM 提供商（包括 OpenAI、Anthropic、Google Gemini、DeepSeek，以及通过 Ollama 的本地模型）。
• 评估与可视化：内置评估节点用于对响应进行打分（通过 Python 脚本），可视化节点用于绘制数值或布尔指标（例如箱线图或直方图）。
• 生成式 AI 辅助：内置功能帮助创建合成数据表并生成评估函数的起始代码。

适用人群

提示工程师、AI 研究者以及需要稳健验证模型行为并为特定用例找到最佳提示和模型组合的开发者。

亮点

• 可视化界面：基于节点的环境，用于设计提示链和评估流程。
• 广泛的提供商支持：兼容多种云 API 和本地部署模型。
• 可导出数据：能够将结果导出为电子表格（Excel .xlsx）以便进一步分析。
• 真实标签评估：支持导入数据集，将 LLM 响应与预期答案进行比较。

---

摘要： 一个用于系统化提示工程的可视化数据流环境，允许用户在多个 LLM 和模型设置下对提示进行对抗测试，并配备内置评估和可视化工具。

标题： ChainForge：用于提示工程和 LLM 假设测试的可视化工具包