embeddings-benchmark/mteb

What it solves

MTEB는 텍스트 임베딩 및 검색 시스템의 성능을 평가하기 위한 표준화된 방법을 제공합니다. 연구자와 개발자가 여러 데이터셋과 평가 지표를 수동으로 설정하는 번거로움을 없애고, 다양한 태스크스크립트에서 서로 다른 모델을을 비교할 수 있는 포괄적인 벤치마크를 제공합니다.

How it works

이 툴박스는 사용자가 특정 임베딩 모델(사전 정의된 목록 또는 사용자 정의 모델)을 선택하고 일련의 태스크 또는 벤치마크에 대해 실행할 수 있도록 합니다. 평가를 수행하고 분석을 위한 결과를 출력하기 위해 Python API와 CLI(Command Line Interface)를 모두 지원합니다.

Who it's for

임베딩 모델을 구축하거나 미세 조정하는 AI 연구자 및 개발자, 그리고 특정 검색 또는 분류 태스크를 위한 최적의 임베딩 모델을을 위한 데 가장 적합합니다.

Highlights

• Comprehensive Benchmarking: MMTEB를 통해 다국어 지원을包括的하게 지원합니다.
• Easy Integration: pip 또는 uv를 통해 간단히 설치할 수 있으며, 평가를를 위해 실행하는 직관적인 API를 제공합니다.
• Summary of Citing Support: 평가에 사용된 벤치마크 및 태스크의 인용 정보를 가져오는 내장 기능이 있습니다.
• Interactive Leaderboard: 다양한 임베딩 모델의 성능을 추적하고 비교하기 위한 공개 리더보드를 유지합니다.