rhesis-ai/rhesis

해결하는 문제

Rhesis는 AI 에이전트를 개발할 때 도메인 전문가와 제품 관리자로부터 피드백을 체계적으로 수집하고 활용할 수 있는 방법을 제공합니다. 올바른 답변을 아는 사람(스테이크홀더)과 에이전트를 개발하는 엔지니어 사이의 간극을 메우며, 피드백이 특정 테스트 케이스나 에이전트 버전과 연결되도록 하여 채팅 스레드에 사라지는 정보를 방지합니다.

작동 방식

사용자는 Python SDK(로컬 또는 VPC 접근을 위한 WebSocket 사용) 또는 공개 REST 엔드포인트를 통해 AI 에이전트를 연결합니다. 스테이크홀더는 웹 기반 플레이그라운드를 사용하여 실시간 에이전트와 상호작용하고, 대화를 테스트 케이스로 전환하며, 구조화된 통과/실패 평가와 코멘트를 제공합니다. 이 피드백은 SDK, REST API, 또는 Cursor 및 Claude Code와 같은 MCP 호환 클라이언트를 통해 개발 루프로 다시 가져옵니다. 시간이 지남에 따라 서술형 피드백은 자동화된 테스트와 메트릭으로 변환됩니다.

대상 사용자

• AI 엔지니어: 피드백과 검토된 테스트 세트를 CI/CD 파이프라인과 개발 워크플로우에 통합하기 위해.
• 도메인 전문가: 코드를 작성하지 않고도 에이전트를 테스트하고 정확성 및 행동에 대한 정성적 피드백을 제공하기 위해.
• 제품 관리자: 요구사항을 정의하고 흩어진 피드백을 측정 가능한 테스트와 메트릭으로 전환하기 위해.

주요 특징

• 통합된 피드백 루프: 실시간 에이전트 상호작용과 구조화된 리뷰, 자동 평가를 연결합니다.
• 유연한 연결성: SDK 기반 WebSocket 연결(공개 URL 필요 없음)과 REST 엔드포인트를 모두 지원합니다.
• 자동 테스트 생성: 요구사항, PRD, 또는 Notion, GitHub, Jira와 같은 연결 도구에서 테스트를 생성합니다.
• 포괄적인 평가: 60개 이상의 메트릭(DeepEval, garak)과 LLM-as-Judge 평가자 포함.
• 개발자 도구: Cursor와 같은 AI 기반 IDE와의 직접 통합을 가능하게 하는 MCP 스킬 제공.