open-compass/VLMEvalKit

What it solves

VLMEvalKit은 Large Vision-Language Models (LVLMs)를 평가하기 위한 통합, 오픈소스 툴킷입니다. 연구자 및 개발자가 여러 다양한 서브벤치마크 레포지토리(benchmark repositories) benchmark repositories를 통해 데이터를 수동으로 준비하는 번거로움을 제거하여, 다양한

How it works hought

Wait, I need to follow the instructions strictly. The user wants a translation to Korean. I must ensure the JSON is valid and follows the schema. I will translate the content provided.

Title: VLMEvalKit Summary: 70개 이상의 벤치마크와 200개 이상의 모델에 대해 원클릭 평가를 가능하게 하는 대규모 시각-언어 모델용 오픈소스 평가 툴킷. Body:

해결하는 문제

VLMEvalKit은 대규모 시각-언어 모델(LVLMs)을 평가하기 위한 통합된 오픈소스 툴킷을 제공합니다. 연구자와 개발자가 여러 다른 벤치마크 레포지토리에서 데이터를 수동으로 준비할 필요를 없애주어, 다양한 벤치마크에 대해 단 한 번의 명령으로 평가할 수 있게 해줍니다.

작동 방식

이 툴킷은 모든 모델에 대해 생성 기반 평가 방식을 채택합니다. 정확도를 결정하기 위해 완전 일치(exact matching)와 LLM 기반 답변 추출 방식을 모두 지원합니다. 새로운 모델을 추가하려는 개발자의 경우, 단 하나의 generate_inner() 함수만 구현하면 되므로 프로세스가 단순화되며, 데이터 다운로드, 전처리, 추론 및 지표 계산은 툴킷이 처리합니다.

대상 사용자

재현 가능한 방식으로 표준 벤치마크에서 모델을 평가해야 하는 AI 연구자 및 VLM 개발자를 위해 설계되었습니다.

주요 특징

• 광범위한 지원: 200개 이상의 대규모 멀티모달 모델(LMMs)과 70개 이상의 이미지 및 비디오 벤치마크를 지원합니다.
• 분산 추론: LMDeploy 및 VLLM과 통합되어 대규모 또는 사고형(thinking) 모델의 빠른 평가를 위해 멀티 노드 분산 추론을 지원합니다.
• 사고 모드 지원: 사고 모드(thinking mode)가 있는 모델을 위한 특수 처리( <think> 태그 내의 콘텐츠 파싱)를 포함합니다.
• 유연한 출력: 매우 긴 응답을 생성하는 모델의 데이터 잘림을 방지하기 위해 예측 파일을 TSV 형식으로 저장하는 것을 지원합니다.
• 폭넓은 호환성: 모델 호환성을 보보장하기 위해 transformers, torchvision, flash-attn에 대한 상세한 버전 권장 사항을 제공합니다.