codelion/adaptive-classifier
A flexible, adaptive classification system for dynamic text classification
解决的问题
Adaptive Classifier 是一个基于 PyTorch 的库,旨在克服传统文本分类的僵化性。它解决了“灾难性遗忘”的问题,以及在生产系统中添加新类别或示例时不断重新训练的需求。它还解决了分类器对对抗性操纵的脆弱性,以及确保模型置信度分数实际上是可靠概率的挑战。
工作原理
该库使用混合架构,结合两种不同的信号进行预测:
- 原型记忆:使用 FAISS 驱动的相似性搜索,找出文本的嵌入与类别平均嵌入(原型)的接近程度。
- 自适应神经层:一个小型、可训练的分类头,使用弹性权重巩固(EWC)来防止在学习新模式时遗忘旧知识。
它与 HuggingFace transformers 集成以获取嵌入,并支持 ONNX Runtime 以加速 CPU 推理。为了处理新类别,它采用了一种渐进机制,依赖原型直到收集足够的示例来有效训练神经头。
适用对象
适用于构建企业级文本分类系统的开发人员和 ML 工程师,这些系统需要零停机更新、能够在运行时添加/移除类别,以及对抗对抗性“攻击”模型的鲁棒性。
亮点
- 持续学习:在运行时添加新示例或整个类别,无需重新训练整个模型。
- 战略性防御:实现博弈论防御,以维持对抗对抗性输入的准确性。
- 零停机适应:在不中断服务的情况下更新生产模型。
- 可靠置信度:包含校准工具,确保预测分数符合实际准确性,并支持分布外(OOD)检测。
- ONNX 优化:内置支持通过量化 ONNX 模型加速 2-4 倍 CPU 推理。
- 主动学习:工具建议接下来应标记哪些未标记文本,以最有效地改进模型。
相关
- 项目
- 项目
- Dispatch
- Dispatch
- Dispatch