raindrop-ai/workshop
Give your coding agent the power to write and run agent evals.
解決する課題
Raindrop Workshopは、AIエージェント用のローカルデバッガーです。エージェントの思考プロセス内で何が起きているかをリアルタイムで正確に把握できるようにし、すべてのトークン、ツール呼び出し、決定に対する可視性を提供することで、エージェントのワークフローのデバッグにおける推測を排除します。
仕組み
Workshopは、トレースをローカルのデーモンとブラウザベースのUIにミラーリングすることで、エージェントをインストルメント(計測)します。Claude Codeのようなコーディングエージェントと統合し、エージェントが自身のトレースを読み取り、コードベースに対して評価(evals)を書き込み、アサーションが通過するまでバグを修正する自己修復ループを可能にします。また、ローカルのエージェントコードに対して本番環境のトレースをシミュレートするローカルリプレイ機能も提供します。
対象ユーザー
TypeScript、Python、Go、Rustを含む複数の言語を使用し、さまざまなSDK(LangChain、CrewAI、Pydantic AIなど)やコーディングエージェント(Cursor、Devin、Claude Codeなど)を用いてAIエージェントを構築している開発者。
ハイライト
- ライブストリーミング・トレース: ポーリングなしで、トークンとツール呼び出しをリアルタイムに可視化。
- 自己修復型評価ループ: Claude Codeとの統合により、トレースの失敗に基づいてコードを自動的に書き換え、修正。
- ローカルリプレイ: 本番環境のトレースをローカルで再現するためのHTTPエンドポイントのスケフォールディング機能。
- 幅広い互換性: 幅広いAI SDK、プロバイダー(AWS Bedrock、Azure OpenAI、Vertex AI)、およびコーディングエージェントをサポート。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト