codelion/adaptive-classifier

A flexible, adaptive classification system for dynamic text classification

解决的问题

Adaptive Classifier 是一个基于 PyTorch 的库,旨在克服传统文本分类的僵化性。它解决了“灾难性遗忘”的问题,以及在生产系统中添加新类别或示例时不断重新训练的需求。它还解决了分类器对对抗性操纵的脆弱性,以及确保模型置信度分数实际上是可靠概率的挑战。

工作原理

该库使用混合架构,结合两种不同的信号进行预测:

  1. 原型记忆:使用 FAISS 驱动的相似性搜索,找出文本的嵌入与类别平均嵌入(原型)的接近程度。
  2. 自适应神经层:一个小型、可训练的分类头,使用弹性权重巩固(EWC)来防止在学习新模式时遗忘旧知识。

它与 HuggingFace transformers 集成以获取嵌入,并支持 ONNX Runtime 以加速 CPU 推理。为了处理新类别,它采用了一种渐进机制,依赖原型直到收集足够的示例来有效训练神经头。

适用对象

适用于构建企业级文本分类系统的开发人员和 ML 工程师,这些系统需要零停机更新、能够在运行时添加/移除类别,以及对抗对抗性“攻击”模型的鲁棒性。

亮点

  • 持续学习:在运行时添加新示例或整个类别,无需重新训练整个模型。
  • 战略性防御:实现博弈论防御,以维持对抗对抗性输入的准确性。
  • 零停机适应:在不中断服务的情况下更新生产模型。
  • 可靠置信度:包含校准工具,确保预测分数符合实际准确性,并支持分布外(OOD)检测。
  • ONNX 优化:内置支持通过量化 ONNX 模型加速 2-4 倍 CPU 推理。
  • 主动学习:工具建议接下来应标记哪些未标记文本,以最有效地改进模型。

相关

  • 项目
  • 项目
  • Dispatch
  • Dispatch
  • Dispatch