langwatch/scenario

해결하는 문제

Scenario는 시뮬레이션을 통해 AI 에이전트를 테스트하기 위한 프레임워크를 제공합니다. 현실적인 사용자 상호작용, 엣지 케이스, 적대적 공격을 시뮬레이션하여 정적 테스트를 넘어 멀티턴 대화에서 에이전트가 올바르게 동작하도록 보장합니다.

작동 방식

이 프레임워크는 에이전트에 다양한 역할을 부여하는 시뮬레이션 루프를 사용합니다:

• 사용자 시뮬레이터 에이전트: 시나리오 설명을 기반으로 사용자 메시지를 자동으로 생성하여 테스트 대상 에이전트에 도전장을 내밀습니다.
• 테스트 대상 에이전트: 평가 대상인 실제 AI 에이전트로, 간단한 call() 메서드를 통해 통합됩니다.
• 심판 에이전트: 특정 기준에 따라 대화를 실시간으로 평가하여 시뮬레이션이 성공했는지 실패했는지 판단합니다.

개발자는 시뮬레이션을 '오토파일럿'(LLM이 상호작용을 주도하도록 함)으로 실행하거나, 스크립트 DSL을 사용하여 대화 흐름을 정밀하게 제어하고, 하드코딩된 메시지를 주입하거나, 사용자 정의 어설션(예: 특정 도구가 호출되었는지 검증)을 추가할 수 있습니다.

대상 사용자

LLM 기반 에이전트를 구축하는 개발자를 위해 설계되었으며, 특히 복잡한 멀티턴 동작을 검증하거나, 레드팀 테스트를 수행하거나, 음성 기반 AI 에이전트를 테스트해야 하는 경우 적합합니다.

주요 특징

• 다국어 지원: Python, TypeScript, Go에서 사용 가능합니다.
• 음성 에이전트 테스트: ElevenLabs, OpenAI Realtime, Gemini Live용 어댑터를 포함한 오디오에 대한 1급 지원 및 인터럽션과 지연 시간 테스트 도구를 제공합니다.
• 레드팀 테스트: Crescendo 에스컬레이션과 같은 적대적 공격을 실행하여 취약점을 발견하기 위한 RedTeamAgent를 포함합니다.
• 무관한 통합: 모든 LLM 평가 프레임워크와 호환되며, 기존 에이전트를 통합하는 데 최소한의 코드가 필요합니다.
• 결정론적 테스트: LLM 호출과 시뮬레이션 입력에 대한 캐싱 메커니즘을 제공하여 비결정론적 테스트를 반복 가능하게 만듭니다.
• 시각화: LangWatch와 통합되어 실시간 디버깅과 협업을 지원합니다.