harveyai/harvey-labs

해결하는 문제

Harvey LAB은 전문적인 법률 환경에서 AI 에이전트의 성능을 측정하는 어려움을 해결합니다. 에이전트가 복잡하고 실제적인 법률 작업을 정확하게 처리할 수 있는지 테스트할 수 있는 표준화된 방법을 제공합니다.

작동 방식

이 프로젝트는 두 가지 주요 구성 요소로 이루어져 있습니다. 지침, 원본 문서, 채점 기준을 포함한 2,000개 이상의 법률 작업으로 구성된 포괄적인 데이터셋과 실행 하네스입니다. 개발자는 lab-core Python 패키지를 사용하여 이러한 작업에 대해 에이전트를 실행하며, 시스템은 제공된 채점 기준에 따라 에이전트의 출력을 평가하여 성능 보고서와 비교 대시보드를 생성합니다.

대상 사용자

법률 산업을 위한 AI 에이전트를 구축하는 연구원 및 개발자를 위해 설계되었으며, 실제 법률 워크플로우에서 모델의 성능을 벤치마킹하기 위한 엄격하고 반복 가능한 프레임워크가 필요한 분들에게 적합합니다.

주요 특징

• 24개 실무 분야에 걸친 2,000개 이상의 법률 작업 포함.
• 에이전트 성능을 실행하고 점수를 매기기 위한 실행 하네스 제공.
• 채점 기준 및 LLM 기반 판단을 통한 상세 평가 지원.
• 사용자 지정 에이전트 개발 워크플로우에 통합하기 위한 Python 라이브러리 (lab-core) 제공.