langwatch/scenario

解決する課題

Scenario は、シミュレーションを通じて AI エージェントをテストするためのフレームワークを提供します。現実的なユーザーとのやり取り、エッジケース、敵対的攻撃をシミュレートすることで、静的なテストを超え、マルチターン会話においてエージェントが正しく動作することを保証します。

動作原理

このフレームワークは、エージェントに異なる役割を割り当てるシミュレーションループを使用します：

• ユーザーシミュレーターエージェント: シナリオの説明に基づいてユーザーメッセージを自動生成し、テスト対象のエージェントに挑戦します。
• テスト対象エージェント: 評価対象の実際の AI エージェントで、シンプルな call() メソッドを介して統合されます。
• ジャッジエージェント: 特定の基準に基づいて会話をリアルタイムで評価し、シミュレーションが成功したか失敗したかを判定します。

開発者は、シミュレーションを「オートパイロット」（LLM にインタラクションを主導させる）で実行するか、スクリプト DSL を使用して会話の流れを正確に制御し、ハードコードされたメッセージを注入したり、カスタムアサーション（例：特定のツールが呼び出されたことの検証）を追加したりできます。

対象者

LLM 駆動のエージェントを開発する開発者向けに設計されており、特に複雑なマルチターン動作の検証、レッドチーミング、または音声ベースの AI エージェントのテストが必要な方々を対象としています。

ハイライト

• 多言語サポート: Python、TypeScript、Go で利用可能。
• 音声エージェントテスト: ElevenLabs、OpenAI Realtime、Gemini Live 向けのアダプターを含むオーディオのファーストクラスサポート、および割り込みとレイテンシのテストツール。
• レッドチーミング: Crescendo エスカレーションなどの敵対的攻撃を実行し、脆弱性を発見するための RedTeamAgent を搭載。
• アグノスティックな統合: 任意の LLM 評価フレームワークと連携し、既存のエージェントを統合するために最小限のコードで済みます。
• 決定論的テスト: LLM 呼び出しとシミュレーション入力のキャッシュメカニズムを提供し、非決定論的なテストを再現可能にします。
• 可視化: LangWatch と統合し、リアルタイムのデバッグとコラボレーションを可能にします。