Knowledgator/GLiClass

해결하는 문제

GLiClass는 제로샷 시퀀스 분류를 더욱 효율적으로 만들기 위해 설계되었습니다. 기존의 크로스 인코더 모델은 다양한 레이블에 대해 텍스트를 분류하기 위해 여러 번의 패스가 필요한 경우가 많아 계산 비용이 많이 듭니다. GLiClass는 단일 순방향 패스로 분류를 수행하여 성능을 유지하면서도 약 10배 더 빠른 속도를 제공합니다.

작동 원리

GLiNER 프레임워크에서 영감을 받은 GLiClass는 여러 분류 작업을 처리할 수 있는 범용 아키텍처를 사용합니다. 유니 인코더(가장 효율적), 바이 인코더, 인코더-디코더 모델 등 다양한 아키텍처 유형을 지원합니다. 유연한 풀링 전략(평균 또는 최대 풀링 등)과 스코어링 메커니즘(내적 또는 MLP 등)을 사용하여 텍스트와 레이블 간의 일치 여부를 결정합니다.

대상 사용자

감성 분석, 문서 분류, 뉴스 태깅, 검색 결과 재순위 지정과 같은 작업에서 고성능 제로샷 텍스트 분류가 필요한 개발자와 연구자를 위한 모델입니다.

주요 특징

• 제로샷 기능: 모델이 명시적으로 학습하지 않은 레이블로 텍스트를 분류합니다.
• 계층적 레이블: 점 표기법(예: sentiment.positive)을 사용하여 복잡한 레이블 구조를 지원합니다.
• 퓨샷 & RAC: 컨텍스트 내 예제나 검색 증강 분류(RAC)를 사용하여 정확도를 향상시킵니다.
• 긴 문서 지원: 매우 긴 문서를 자동으로 청크로 나누는 파이프라인이 포함되어 있습니다.
• 스트리밍 분류: 세션별로 지속적인 KV 캐시를 갖는 디코더-KV 모델에서 증분 분류를 지원합니다.
• 프로덕션 준비 완료: Ray Serve와 통합되어 동적 배치 처리 및 메모리 인식 서빙이 가능합니다.
• 하드웨어 가속: Flash Attention 백엔드(FlashDeBERTa 및 TurboT5)를 선택적으로 지원하여 추론 속도를 높입니다.