oughtinc/ice

ICE – Interactive Composition Explorer

这是什么 – ICE 是一个 Python 库，让您可以构建、运行和调试 recipes – 即调用语言模型代理程序（例如 GPT-3/4）来解决任务的结构化工作流程。它会记录每一次 LM 调用，并在您的浏览器中显示交互式追踪，让您能查看复杂的提示链是如何运作的。

核心概念

• Recipes – 一系列子任务的层级结构（问答、排序、验证等），共同解决更高层级的问题。
• Agents – 可重复使用的构建区块，执行单一 LM 操作，例如补全、评分或分类。代理程序是无状态的，且可以随意替换（人类、LM 或混合模式）。
• Modes – 以全人类、全 LM 或混合（人类+LM）模式运行 recipe，以比较性能。
• 并行执行 – ICE 可以同时发送多个 LM 调用，加速大型 recipe 的执行。
• Trace UI – 运行后，网页 UI 会可视化执行图，显示输入、输出、时间和任何错误，这对于调试和研究非常有用。

典型工作流程

1. 安装套件 (pip install ought-ice)。
2. 将您的 API 密钥放入 ~/.ought-ice/.env。
3. 编写或导入一个 recipe（例如 “Hello World” 入门示例）。
4. 调用 ice.run(recipe, mode="LM")。
5. 在浏览器中打开生成的追踪文件以探索每个步骤。

适用对象

• 正在实验思维链 (chain-of-thought) 或迭代分解提示的研究人员。
• 正在构建需要清晰、可重现工作流程的 AI 助理的开发人员。
• 任何想要比较“人在回路”(human-in-the-loop) 与全自动化 LM 管线的人。

状态 – 1.0 版本前；公开 API 可能随时变更，恕不另行通知。

链接 –

• 安装指南
• UI 指南维基
• 描述底层方法的论文

---

ICE 是由 Ought 开源的项目，该团队也是研究助理工具 Elicit 的开发者。