Tencent/WeMM-Embedding

WeMM-Embedding is a family of universal multimodal embedding models by the WeChat Vision Team at Tencent, supporting multimodal understanding and retrieval.

해결하는 문제

WeMM-Embedding은 텍스트, 이미지, 비디오, 시각 문서와 같은 다양한 데이터 유형을 수학적 벡터(임베딩)로 통합적으로 표현하는 방법을 제공합니다. 이를 통해 다양한 모달 간에 효율적인 검색과 검색을 가능하게 하여, 텍스트 설명을 기반으로 비디오 클립이나 이미지를 찾거나, 그 반대도 가능하게 합니다.

작동 방식

이 프로젝트는 다중 모달 입력을 처리하는 모델 패밀리(2B, 4B, 9B 파라미터)를 제공합니다. 임베딩은 특정 <embedding> 토큰 위치의 마지막 레이어 은닉 상태를 추출하고 L2 정규화를 적용하여 생성됩니다.

저장 및 계산 최적화를 위해 Matryoshka Embeddings를 사용하며, 전체 임베딩을 더 작은 차원(예: 2048에서 256로)으로 자르더라도 원래 성능의 대부분을 유지할 수 있습니다.

대상 사용자

텍스트, 이미지, 비디오를 하나의 공유 공간에서 이해하고 비교할 필요가 있는, 다중 모달 검색 시스템, 검색 엔진, 또는 AI 에이전트를 개발하거나 연구하는 개발자 및 연구자.

주요 특징

  • 유니버설 멀티모달 지원: 텍스트, 이미지, 비디오, 시각 문서를 포함한 인터리브 입력도 처리 가능.
  • 유연한 차원: 정확도 손실 없이 벡터 크기를 조정할 수 있는 Matryoshka 임베딩 지원.
  • 고성능: MMEB-v2 및 MMEB-v3 벤치마크에서 최고 수준의 성능 달성.
  • 간편한 통합: transformers, SentenceTransformers, vLLM, SGLang과 호환되어 서빙에 사용 가능.

관련