Knowledgator/GLiClass

解决的问题

GLiClass 旨在提高零样本序列分类的效率。传统的交叉编码器模型通常需要多次传递才能针对各种标签对文本进行分类，这在计算上非常昂贵。GLiClass 通过单次前向传递执行分类，使其速度快了约 10 倍，同时保持了相当的性能。

运作原理

受 GLiNER 框架启发，GLiClass 使用了一种可以处理多种分类任务的通用架构。它支持多种架构类型，包括单编码器（最有效率）、双编码器和编码器-解码器模型。它采用灵活的池化策略（如平均或最大池化）和评分机制（如点积或 MLP）来确定文本与标签之间的匹配。

适用对象

它适用于需要高性能、零样本文本分类的开发人员和研究人员，适用于情感分析、文档分类、新闻标记和搜索结果重新排序等任务。

特点

• 零样本能力：将文本分类为模型未明确训练过的标签。
• 层级标签：使用点标记法（例如 sentiment.positive）支持复杂的标签结构。
• 少样本与 RAC：使用上下文示例或检索增强分类 (RAC) 来提高准确性。
• 长文档支持：包含用于超长文档自动文本分块的管道。
• 流式分类：支持在具有每个会话持久 KV 缓存的解码器-KV 模型上进行增量分类。
• 生产就绪：与 Ray Serve 集成，实现动态批处理和内存感知服务。
• 硬件加速：可选支持 Flash Attention 后端（FlashDeBERTa 和 TurboT5）以实现更快的推理。