Qwen3 임베딩 및 재랭킹 모델 출시

Qwen은 Qwen3 기반 모델을 기반으로 한 Qwen3 임베딩 시리즈를 출시했으며, 100개 이상의 언어에 걸쳐 최첨단 텍스트 임베딩, 검색 및 재랭킹을 수행하도록 설계된 독점 모델 세트입니다. 이 모델들은 Apache 2.0 라이선스로 오픈소스화되었으며 Hugging Face와 ModelScope에서 제공됩니다.

모델 기능 및 성능

Qwen3 임베딩 시리즈는 다국어 텍스트 이해 및 검색에서 최첨단 성능을 달성합니다. 2025년 6월 5일 현재, 8B 임베딩 모델은 MTEB 다국어 리더보드에서 70.58점으로 1위를 차지했습니다.

재랭킹 벤치마크

재랭킹 모델은 여러 벤치마크에서 검색 관련성에 큰 향상을 보여줍니다. 재랭킹 시리즈의 성능 지표는 다음과 같습니다:

모델 MTEB-R CMTEB-R MMTEB-R MLDR MTEB-Code FollowIR
Qwen3-Reranker-0.6B 65.80 71.31 66.36 67.28 73.42 5.41
Qwen3-Reranker-4B 69.76 75.94 72.74 69.97 81.20 14.84
Qwen3-Reranker-8B 69.02 77.45 72.94 70.19 81.22 8.05

참고: 모든 점수는 Qwen3-Embedding-0.6B 모델이 검색한 상위 100개 후보를 기반으로 합니다.

모델 사양

이 시리즈는 효율성과 효과성을 균형 있게 맞추기 위해 0.6B에서 8B까지 다양한 모델 크기를 제공합니다. 임베딩 및 재랭킹 모델 모두 32K 시퀀스 길이를 지원하며, 인스트럭션 인식 기능을 갖추어 사용자가 특정 작업이나 언어에 맞게 입력 인스트럭션을 맞춤 설정할 수 있습니다.

텍스트 임베딩 모델

모델 크기 레이어 임베딩 차원 MRL 지원
Qwen3-Embedding-0.6B 0.6B 28 1024 Yes
Qwen3-Embedding-4B 4B 36 2560 Yes
Qwen3-Embedding-8B 8B 36 4096 Yes

텍스트 재랭킹 모델

모델 크기 레이어 시퀀스 길이 인스트럭션 인식
Qwen3-Reranker-0.6B 0.6B 28 32K Yes
Qwen3-Reranker-4B 4B 36 32K Yes
Qwen3-Reranker-8B 8B 36 32K Yes

아키텍처 및 학습 방법론

Qwen3 임베딩 시리즈는 Qwen3 기반 모델을 기반으로 듀얼 인코더와 크로스 인코더 아키텍처를 활용하며, LoRA 파인튜닝을 통해 기본 모델의 텍스트 이해 능력을 보존하도록 정제되었습니다.

아키텍처 차이점

  • 임베딩 모델: 듀얼 인코더 아키텍처를 사용합니다. 단일 텍스트 세그먼트를 처리하고 최종 [EOS] 토큰의 은닉 상태 벡터를 사용하여 의미 표현을 추출합니다.
  • 재랭킹 모델: 크로스 인코더 구조를 사용합니다. 텍스트 쌍(예: 질의와 후보 문서)을 입력으로 받아 관련성 점수를 출력합니다.

학습 파이프라인

  • 임베딩 모델: 세 단계 학습 패러다임을 따릅니다: 약하게 감독된 데이터로 대비 사전 학습, 고품질 라벨 데이터로 감독 학습, 그리고 여러 후보 모델을 통합하는 최종 병합 전략.
  • 재랭킹 모델: 효율성을 극대화하기 위해 고품질 라벨 데이터를 직접 사용하여 감독 학습을 수행합니다.

임베딩 모델을 위한 대규모 약 감독 데이터 생성을 위해 Qwen은 Qwen3 기반 모델의 생성 능력을 활용하여 특정 언어와 작업 유형에 맞춘 텍스트 쌍을 만들 수 있는 다중 작업 적응형 프롬프트 시스템을 개발했습니다.

향후 로드맵

Qwen은 배포 성능과 학습 효율성을 향상시키기 위해 기반 모델 최적화를 지속할 계획입니다. 또한, 연구실은 시스템을 다중모달 표현 시스템으로 확장하여 교차 모달 의미 이해를 가능하게 할 예정입니다.

Sources