LAION-AI/CLIP_benchmark

해결하는 문제

CLIP Benchmark는 CLIP(대조적 언어-이미지 사전학습) 모델의 성능을 측정하기 위해 표준화된 평가 프레임워크입니다. 다양한 데이터셋과 작업에서 이러한 모델을 일관되고 재현 가능한 결과를 얻을 수 있도록 통합된 방식으로 테스트할 수 있도록 합니다.

작동 방식

사용자가 모델, 데이터셋, 작업을 지정할 수 있는 명령줄 인터페이스(CLI)를 제공합니다. OpenCLIP, Japanese CLIP, NLLB CLIP와 같은 사전 훈련된 모델을 로드하고 torchvision, TensorFlow 데이터셋, VTAB, WebDataset 등 다양한 소스에서 데이터를 로드합니다. 결과는 JSON 파일로 출력되며, 최종적으로 CSV 테이블로 집계할 수 있습니다.

대상 사용자

시각-언어 모델을 개발하거나 연구하는 AI 연구자 및 개발자로, 기존 벤치마크와 비교하거나 다양한 언어와 데이터셋에서 제로샷 및 선형 프로빙 능력을 평가해야 하는 경우에 적합합니다.

주요 특징

• 다양한 작업 지원: 제로샷 분류, 제로샷 검색, 선형 프로빙, 캡션 생성을 지원합니다.
• 광범위한 모델 호환성: OpenCLIP, Japanese CLIP, NLLB CLIP와 호환되며, 사용자 정의 CLIP 모델 추가도 명확한 경로를 제공합니다.
• 다국어 평가 지원: Babel ImageNet 및 Crossmodal-3600과 같은 데이터셋을 활용해 수십 가지 언어에서 모델을 평가할 수 있습니다.
• 풍부한 데이터셋 통합: torchvision, TensorFlow 데이터셋, VTAB과 통합되며, Hugging Face Hub를 통한 원격 로딩도 지원합니다.
• 복합성 테스트: Sugar Crepe와 Winoground를 사용한 복합성 작업 전용 평가 포함.
• 배치 처리 기능: 템플릿 또는 리스트 파일을 사용해 여러 모델, 여러 데이터셋, 여러 언어를 동시에 평가할 수 있습니다.