Jwuthri/Tracely-ai

解决的问题

Tracely 是面向 AI 代理的原生追踪 CI/CD 系统，可将生产环境中的失败自动转化为回归测试。无需手动编写数据集，系统会将生产环境中的真实失败追踪记录升级为隔离、可重放的测试用例，一旦发生回归，即可阻止拉取请求。

工作原理

Tracely 通过 OTLP/HTTP 捕获代理追踪记录，并按对话和轮次进行组织。它使用在线评估器（LLM 作为裁判或结构检查）对运行结果进行评分，并将相似的失败聚类为问题。当检测到失败时，可通过「失败转成功契约」（fail-to-pass contract）将其升级为回归测试用例。这些用例随后在 CI/CD 流水线中使用录制的固定数据（fixture）进行重放（确保确定性且无模型使用成本），或通过实时调用以确保代理行为得到修正。

适用人群

希望超越简单可观测性仪表板，基于真实生产数据建立严格、自动化测试与准入流程的复杂 AI 代理系统开发者与维护者。

核心亮点

• 从追踪到测试的升级：一键将生产环境中的失败追踪转换为回归测试。
• 隔离式重放：在 CI 中使用录制的工具和 LLM 输出作为固定数据进行测试重放，避免 API 成本和非确定性问题。
• CI 准入控制：与 GitHub Actions 集成，阻止引入已知失败的拉取请求。
• 失败聚类：自动将相似的失败运行聚类为语义和结构问题，减少排查噪音。
• 可视化调试：提供瀑布式追踪视图和「Fleet」视图（将对话渲染为像素艺术办公室），便于解释多代理系统行为。
• 自动化告警：提供可视化流程构建器，支持 LLM 步骤和 Webhook，用于创建复杂告警规则。