EvolvingLMMs-Lab/lmms-eval
One-for-All Multimodal Evaluation Toolkit Across Text, Image, Video, and Audio Tasks
해결하는 문제
LMMs-Eval은 대규모 멀티모달 모델(LMMs)을 평가하기 위한 통합적이고 재현 가능하며 효율적인 툴킷을 제공합니다. 이는 멀티모달 평가 생태계의 파편화 문제를 해결합니다. 현재는 일관되지 않은 후처리 작업과 분산된 데이터셋으로 인해 팀 간에 신뢰할 수 없거나 재현 불가능한 결과가 발생하는 경우가 많습니다.
작동 방식
이 툴킷은 이미지, 비디오, 오디오 모달리티 전반에서 모델의 지능을 탐색하기 위한 표준화된 파이프라인을 구현합니다. 다양한 모델 백엔드(vLLM, SGLang, OpenAI-compatible APIs 포함)를 지원하며, 데이터셋 문서를 채팅 메시지로 변환하기 위한 구조화된 프로토콜을 제공합니다. 또한 평가와 학습을 분리하는 HTTP 평가 서버를 제공하여 비동기 작업 제출 및 원격 액세스를 지원합니다.
대상 사용자
최첨단 멀티모달 모델을 다양한 작업에 대해 벤치마킹하여 개선 사항이 실질적이고 통계적으로 근거가 있는지 확인해야 하는 AI 연구원 및 모델 개발자를 위해 설계되었습니다.
주요 특징
- 광범위한 지원: 100개 이상의 평가 작업과 30개 이상의 모델 제품군 지원.
- 멀티모달 기능: 이미지, 비디오, 오디오 모달리티에 대한 포괄적인 평가.
- 높은 효율성: 비동기 서빙, 적응형 배치 처리, TorchCodec으로 최적화된 비디오 I/O를 통해 GPU 활용도를 극대화.
- 통계적 근거: 신뢰 구간, 클러스터 표준 오차, 대응 표본 t-검정을 제공하여 결과의 신뢰성 보장.
- 대화형 도구: 구성을 위한 Web UI와 원격 평가 워크플로우를 위한 프로덕션급 HTTP 서버 포함.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- Dispatch