UKGovernmentBEIS/inspect_evals

해결하는 문제

프론티어 AI 모델을 위한 표준화된 평가 라이브러리를 제공하여, 개발자와 연구자가 일관된 방식으로 모델의 능력을 측정하고 위험 및 완화 조치를 평가할 수 있도록 합니다.

작동 방식

Inspect AI 프레임워크를 기반으로 구축되었으며, 사전 정의된 평가 작업(예: ARC Easy 및 ARC Challenge) 모음을 포함합니다. 사용자는 명령줄 인터페이스를 통해 또는 Python 객체로 가져와서 이러한 평가를 실행할 수 있으며, 테스트할 모델 제공업체(예: OpenAI, Anthropic, Google)를 지정할 수 있습니다.

대상 사용자

확립된 데이터 세트 및 위험 평가를 기준으로 프론티어 AI 모델을 벤치마킹해야 하는 AI 연구원, 보안 엔지니어 및 개발자.

주요 특징

• 광범위한 모델 지원: OpenAI, Anthropic, Google, Mistral, Azure AI, AWS Bedrock, Together AI, Groq, Hugging Face, vLLM, Ollama를 포함한 수많은 제공업체와 호환됩니다.
• 통합 도구: 평가 결과를 분석하기 위한 로그 뷰어와 로그 검사를 더 쉽게 해주는 VS Code 확장 기능이 포함되어 있습니다.
• 유연한 실행: 단일 평가 실행, 여러 작업을 동시에 실행, 또는 Python을 통한 프로그래밍 방식의 실행을 지원합니다.
• 확장 가능한 레지스트리: 사용자가 자신의 평가를 Inspect Evals Register에 추가하여 커뮤니티와 공유할 수 있습니다.