agenta: 它是什么，解决了什么问题以及为什么它正受到关注

它解决了什么问题

Agenta 是一个开源的 LLMOps 平台，旨在帮助工程和产品团队构建更可靠的 LLM 应用。它解决了管理提示词（prompts）、系统地评估模型性能以及保持对生产环境应用的可见性方面的困难。

它是如何工作的

Agenta 提供了一套集成的工具套件，弥合了提示词工程与生产部署之间的鸿沟：

• 提示词管理：一个交互式游乐场（playground）允许用户并排比较提示词，并通过分支和环境控制进行版本管理。它支持超过 50 种 LLM 模型和自定义提供商。
• 评估：该平台通过灵活的测试集（来自生产数据或 CSVs）和多种评估器（包括 LLM-as-judge 和人工反馈集成）来实现系统化测试。
• 可观测性：它使用 OpenTelemetry 原生追踪（兼容 OpenLLMetry 和 OpenInference）来跟踪成本、延迟和使用模式，并为调试复杂工作流提供详细的追踪信息。

它是为谁准备的

它主要为工程和产品团队构建，同时也为需要协作进行提示词工程和配置、而无需编写代码的主题专家（SMEs）准备。

亮点

• 交互式游乐场：针对测试用例的提示词并排比较。
• 多模型支持：兼容 50 多种 LLMs 并具备自带模型的能力。
• 系统化评估：20 多种预置评估器并支持自定义评估器。
• 生产可见性：使用开放标准进行详细的 LLM 追踪和成本/性能跟踪。