codelion/adaptive-classifier

A flexible, adaptive classification system for dynamic text classification

解決する問題

Adaptive Classifierは、従来のテキスト分類の硬直性を克服するために設計されたPyTorchベースのライブラリです。「破滅的忘却」の問題と、本番システムに新しいクラスや例が追加されたときの絶え間ない再トレーニングの必要性を解決します。また、敵対的操作に対する分類器の脆弱性と、モデルの信頼スコアが実際に信頼できる確率であることを保証するという課題にも対処します。

仕組み

このライブラリは、予測のために2つの異なるシグナルを組み合わせたハイブリッドアーキテクチャを使用します。

  1. プロトタイプメモリ:FAISSを利用した類似性検索を使用して、テキストの埋め込みがクラスの平均埋め込み(プロトタイプ)にどれだけ近いかを見つけます。
  2. 適応型ニューラル層:弾性重み統合(EWC)を使用して、新しいパターンを学習しながら古い知識の忘却を防ぐ、小さなトレーニング可能な分類ヘッドです。

埋め込みにはHuggingFace transformersと統合し、CPU推論の高速化にはONNX Runtimeをサポートしています。新しいクラスを処理するために、ニューラルヘッドを効果的にトレーニングするのに十分な例が集まるまでプロトタイプに依存するランプアップメカニズムを採用しています。

対象読者

ゼロダウンタイム更新、実行時のカテゴリ追加/削除機能、敵対的な「ゲーム」に対する堅牢性を必要とする、エンタープライズグレードのテキスト分類システムを構築する開発者やMLエンジニアを対象としています。

ハイライト

  • 継続学習:モデル全体を再トレーニングせずに、実行時に新しい例やクラス全体を追加します。
  • 戦略的防御:敵対的入力に対する精度を維持するためのゲーム理論的防御を実装。
  • ゼロダウンタイム適応:サービスを中断せずに本番モデルを更新します。
  • 信頼性の高い信頼度:予測スコアが実際の精度と一致することを保証するキャリブレーションツールを含み、分布外(OOD)検出をサポートします。
  • ONNX最適化:量子化されたONNXモデルによる2〜4倍高速なCPU推論のための組み込みサポート。
  • 能動学習:モデルを最も効率的に改善するために、次にどの未ラベルテキストをラベル付けすべきかを提案するツール。

関連

  • プロジェクト
  • プロジェクト
  • Dispatch
  • Dispatch
  • Dispatch