lightonai/pylate

해결하는 문제

PyLate는 일반적으로 미세 조정 및 효율적인 검색을 위해 복잡한 설정이 필요한 후기 상호작용 모델(특히 ColBERT)의 훈련, 배포, 사용 과정을 간소화합니다. 대부분의 사전 학습된 언어 모델로부터 ColBERT 모델을 구축할 수 있는 통합 라이브러리를 제공하며, 훈련에서 고속 검색에 이르는 워크플로우를 최적화합니다.

작동 방식

PyLate는 Sentence Transformers 위에 구축되며 여러 전문 컴포넌트를 통합합니다.

• 훈련: 대규모 배치 크기를 처리할 수 있는 GradCache를 지원하는 대조적 훈련과 더 강력한 교사 모델로부터의 지식 증류를 지원합니다.
• 인덱싱: FastPLAID, WARP, TACHIOM과 같은 효율적인 백엔드를 활용하여 토큰 벡터를 압축하고, 200ms 미만의 지연 시간으로 검색을 가능하게 합니다.
• 검색 및 재순위 지정: 쿼리와 문서를 토큰 수준의 임베딩으로 인코딩하고, 전체 인덱스 검색 또는 소수의 문서에 대한 직접 재순위 지정을 수행할 수 있는 도구를 제공합니다.

대상 사용자

크로스엔코더의 정밀도와 바이엔코더의 속도를 후기 상호작용 아키텍처를 통해 결합하고자 하는 정보 검색(IR) 및 RAG 파이프라인 개발자 및 연구자.

주요 특징

• 유연한 훈련: 대조적 및 증류 손실을 사용한 단일 및 멀티 GPU 미세 조정을 지원합니다.
• 광범위한 모델 지원: 대부분의 사전 학습된 언어 모델을 ColBERT 스타일의 후기 상호작용 모델로 변환할 수 있습니다.
• 효율적인 검색: PLAID, WARP, TACHIOM과 같은 여러 고성능 인덱싱 백엔드를 통합하여 확장 가능한 검색을 가능하게 합니다.
• Hugging Face 통합: Hugging Face Datasets를 시ーム리스하게 활용하여 트리플렛 및 증류 훈련이 가능합니다.