Kiln: 一个面向提示词优化、评估和智能体编排的本地优先 AI 开发工作台

它解决了什么问题

Kiln 为整个 AI 开发生命周期提供了一个统一的工作台，消除了在提示词工程、评估、RAG 和微调等碎片化工具之间切换的需求。它通过使用单一数据集在多个维度上跟踪质量，解决了 AI 产品中的“回归”问题，即改进提示词的一部分或升级模型可能会意外破坏其他行为。

工作原理

Kiln 将面向非技术协作人员（PM、QA 和领域专家）的桌面应用程序与面向工程师的 MIT 许可 Python 库相结合。它基于本地优先的原则运行，允许用户自带 API 密钥或通过 Ollama 完全离线运行模型。系统会同步到 Git 以进行团队协作，并允许用户只需定义一次任务，然后针对同一数据集应用各种优化技术——例如自动提示词变异、RAG 集成或微调。

面向对象

它专为 AI 产品团队设计，包括需要生产级库的工程师、在 notebook 中工作的数据科学家，以及需要能够对输出进行评分并添加训练数据而无需编写代码的非技术利益相关者。

亮点

• Auto-Optimize: 自动搜索提示词变异和模型选择，以找到特定任务的最佳配置。
• Eval Builder: 快速生成合成评估数据集和裁判，以使 AI 输出与用户偏好保持一致。
• Multi-Agent Orchestration: 支持多智能体层级结构的组合，其中每个智能体都在其专注的上下文窗口中运行。
• Zero-Code Fine-Tuning: 无需编写代码，即可在 Fireworks、Together 和 Vertex 等提供商上对 60 多种模型进行微调。
• Local-First Privacy: 在用户机器上运行，确保数据控制权和 Git 原生同步。