preset-io/promptimize

解决的问题

Promptimize 通过将测试驱动开发 (TDD) 方法引入提示工程，解决了大型语言模型 (LLM) 的不可预测性。它让开发者摆脱手动试错，转而使用程序化、严谨的框架来大规模评估和优化提示词。

运作方式

该工具包使用“提示案例 (prompt case)”系统，开发者可将特定的输入与相关的评估函数定义为代码。这些函数会将响应评分在 0 到 1 之间。Promptimize 将这些案例组织成“套件 (Suites)”，可在不同的模型、温度参数和设置下执行。它会生成报告来追踪性能、识别回归问题，并比较不同提示词变体的表现。

适用对象

专为需要确保提示词足够可靠且具确定性，以用于软件产品生产环境的产品开发者与 AI 工程师所设计。

特色亮点

• 配置即代码 (Configuration as Code)：提示案例与评估皆以 Python 定义，支持动态生成测试案例。
• API 效率：仅重新评估已变更的提示案例，以最小化成本。
• 加权评估：支持为提示案例分配权重与类别，以便在报告中优先处理关键测试。
• 可扩展的 Hook：提供 pre_run 与 post_run Hook 以进行复杂验证，例如执行生成的 SQL 代码来验证结果。
• LangChain 集成：底层与 LangChain 协作，但同时兼容于任何基于 Python 的提示词生成逻辑。