raindrop-ai/workshop

Give your coding agent the power to write and run agent evals.

解決的問題

Raindrop Workshop 是一個 AI Agent 的本地除錯器。它透過提供對每個 Token、工具呼叫和決策的可視化,消除除錯 Agent 工作流時的猜測,讓開發者能夠即時準確地看到 Agent 思維過程中的具體情況。

工作原理

Workshop 透過將追蹤資訊鏡像到本地守護進程和基於瀏覽器的 UI 來對 Agent 進行插樁。它能與 Claude Code 等程式設計 Agent 集成,實現一個自癒迴圈,使 Agent 能夠讀取自身的追蹤資訊,針對程式碼庫編寫評估 (evals),並持續修復 Bug 直到斷言通過。它還提供本地回放功能,用於在本地 Agent 程式碼上模擬生產環境的追蹤。

適用對象

使用多種語言(包括 TypeScript、Python、Go 和 Rust)並利用各種 SDK(如 LangChain、CrewAI 或 Pydantic AI)以及程式設計 Agent(如 Cursor、Devin 或 Claude Code)構建 AI Agent 的開發者。

亮點

  • 即時追蹤流: 無需輪詢即可即時查看 Token 和工具呼叫。
  • 自癒式評估迴圈: 與 Claude Code 集成,根據追蹤失敗自動編寫並修復程式碼。
  • 本地回放: 能夠建置 HTTP 端點,以便在本地回放生產環境的追蹤。
  • 廣泛的相容性: 支援廣泛的 AI SDK、供應商(AWS Bedrock、Azure OpenAI、Vertex AI)和程式設計 Agent。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案