traceroot-ai/traceroot

解決的問題

TraceRoot 為 AI 代理提供觀測性與自我改進循環。它解決了手動從龐大的生產追蹤中篩選失敗的困難、在幻覺與工具呼叫之間定位錯誤根源的痛苦，以及缺乏系統性方法來持續提升代理效能的問題。

工作原理

TraceRoot 使用相容 OpenTelemetry 的 SDK 捕獲 LLM 呼叫、代理行為與工具使用。它透過「偵測器」（LLM 作為裁判的評估器）自動監控追蹤中的幻覺、邏輯失敗與安全違規。當偵測到失敗時，系統會觸發一個代理式除錯流程，連接到包含生產原始碼與 GitHub 歷史記錄的沙箱環境，識別出導致失敗的程式碼行，並開啟經過驗證的修復 PR。

適用對象

使用 LangChain、CrewAI、AutoGen 或 Pydantic AI 等框架建構 AI 代理的開發者，需要監控生產效能並自動化除錯與改進流程。

核心亮點

• 代理式除錯：自動識別失敗的程式碼行，並將失敗與 GitHub 提交和 PR 關聯，自動開啟修復 PR。
• LLM 作為裁判偵測器：自動篩選追蹤中的幻覺、工具失敗與意圖漂移。
• 閉環改進：將生產失敗轉化為離線評估與修復驗證的黃金資料集。
• 廣泛整合：支援多種代理框架（如 LlamaIndex、DSPy、Vercel AI SDK）與模型提供者（OpenAI、Anthropic、Gemini）。
• 開源：完全開源，支援 BYOK（Bring Your Own Key）以適配任意模型提供者。