codelion/adaptive-classifier
A flexible, adaptive classification system for dynamic text classification
해결하는 문제
Adaptive Classifier는 기존 텍스트 분류의 경직성을 극복하도록 설계된 PyTorch 기반 라이브러리입니다. 이는 "파괴적 망각" 문제와 프로덕션 시스템에 새 클래스나 예제가 추가될 때 지속적인 재학습의 필요성을 해결합니다. 또한 분류기가 적대적 조작에 취약한 문제와 모델 신뢰도 점수가 실제로 신뢰할 수 있는 확률인지 보장하는 과제를 다룹니다.
仕組み
このライブラリは、予測のために2つの異なるシグナルを組み合わせたハイブリッドアーキテクチャを使用します。
- プロトタイプメモリ:FAISSを利用した類似性検索を使用して、テキストの埋め込みがクラスの平均埋め込み(プロトタイプ)にどれだけ近いかを見つけます。
- 適応型ニューラル層:弾性重み統合(EWC)を使用して、新しいパターンを学習しながら古い知識の忘却を防ぐ、小さなトレーニング可能な分類ヘッドです。
埋め込みにはHuggingFace transformersと統合し、CPU推論の高速化にはONNX Runtimeをサポートしています。新しいクラスを処理するために、十分な例が集まってニューラルヘッドを効果的にトレーニングできるまでプロトタイプに依存するランプアップメカニズムを採用しています。
対象読者
ゼロダウンタイム更新、実行時のカテゴリ追加/削除機能、敵対的な「ゲーム」に対する堅牢性を必要とする、エンタープライズグレードのテキスト分類システムを構築する開発者やMLエンジニアを対象としています。
ハイライト
- 継続学習:モデル全体を再トレーニングせずに、実行時に新しい例やクラス全体を追加します。
- 戦略的防御:敵対的入力に対する精度を維持するためのゲーム理論的防御を実装。
- ゼロダウンタイム適応:サービスを中断せずに本番モデルを更新します。
- 信頼性の高い信頼度:予測スコアが実際の精度と一致することを保証するキャリブレーションツールを含み、分布外(OOD)検出をサポートします。
- ONNX最適化:量子化されたONNXモデルによる2〜4倍高速なCPU推論のための組み込みサポート。
- 能動学習:モデルを最も効率的に改善するために、次にどの未ラベルテキストをラベル付けすべきかを提案するツール。
관련
- 프로젝트
- 프로젝트
- Dispatch
- Dispatch
- Dispatch