Jwuthri/Tracely-ai

解決的問題

Tracely 是針對 AI 代理的原生追蹤 CI/CD 系統，能將生產環境中的失敗自動轉換為回歸測試。無需手動撰寫資料集，系統會將生產環境中的真實失敗追蹤記錄升級為隔離、可重播的測試案例，一旦發生回歸，即可阻止合併請求。

工作原理

Tracely 透過 OTLP/HTTP 捕獲代理追蹤記錄，並按對話與回合進行組織。它使用線上評估器（LLM-as-judge 或結構檢查）對執行結果進行評分，並將相似的失敗聚類為問題。當偵測到失敗時，可透過「失敗轉成功契約」（fail-to-pass contract）將其升級為回歸測試案例。這些案例隨後在 CI/CD 流水線中使用錄製的固定資料（fixture）進行重播（確保確定性且無模型使用成本），或透過即時呼叫以確保代理行為得到修正。

適用對象

希望超越簡單的觀測性儀表板，基於真實生產資料建立嚴謹、自動化測試與准入流程的複雜 AI 代理系統開發者與維護者。

核心亮點

• 從追蹤到測試的升級：一鍵將生產環境中的失敗追蹤轉換為回歸測試。
• 隔離式重播：在 CI 中使用錄製的工具和 LLM 輸出作為固定資料進行測試重播，避免 API 成本和非確定性問題。
• CI 准入控制：與 GitHub Actions 集成，阻止引入已知失敗的合併請求。
• 失敗聚類：自動將相似的失敗執行聚類為語意與結構問題，減少排查噪音。
• 可視化除錯：提供瀑布式追蹤視圖與「Fleet」視圖（將對話渲染為像素藝術辦公室），便於解釋多代理系統行為。
• 自動化告警：提供可視化流程建構器，支援 LLM 步驟與 Webhook，用於建立複雜告警規則。