netease-youdao/BCEmbedding

해결하는 문제

BCEmbedding은 이중 언어 및 교차 언어 검색 작업, 특히 중국어와 영어 간의 성능 격차를 해결합니다. 의료, 법률, 금융과 같은 다양한 전문 분야에서 검색 증강 생성(RAG)을 위해 최적화된 2단계 검색 시스템(임베딩 및 재순위 지정)을 제공하며, 작업별 미세 조정이나 지침이 필요하지 않습니다.

작동 방식

이 프로젝트는 2단계 검색 파이프라인을 구현합니다:

1. Embedding Model: 영어와 중국어로 효율적인 1단계 검색을 위한 의미 벡터를 생성하는 듀얼 인코더입니다.
2. Reranker Model: 더 깊은 의미 분석을 수행하여 검색 결과를 개선하고 순위를 매기는 크로스 인코더입니다. 영어, 중국어, 일본어, 한국어를 지원하며 긴 문단(최대 32k tokens)을 처리할 수 있습니다.

대상

RAG 애플리케이션을 구축하고 고정밀 교차 언어 검색 기능이 필요한 개발자, 특히 LangChain 또는 LlamaIndex와 같은 프레임워크와 통합하는 개발자를 위해 설계되었습니다.

하이라이트

• 이중 언어/교차 언어 숙련도: 중국어와 영어 간의 언어 격차를 해소하는 데 특화되어 있습니다.
• RAG 최적화: 번역, 요약 및 질문 응답 작업에 맞게 조정되었습니다.
• 지침 불필요: 임베딩 모델은 특정 쿼리 지침 없이도 여러 작업에서 작동합니다.
• 긴 컨텍스트 재순위 지정: 재순위 지정기는 최대 32k tokens의 문단을 지원하며 저품질 결과를 필터링하기 위한 의미 있는 관련성 점수를 제공합니다.
• 쉬운 통합: LangChain 및 LlamaIndex와 원활하게 사용하기 위한 기본 제공 도구가 포함되어 있습니다.