dkozlov/awesome-knowledge-distillation

Awesome Knowledge Distillation

何を解決するか

知識蒸留は、大規模で複雑なモデル(教師モデル)の「知能」や学習パターンを、より小さく効率的なモデル(生徒モデル)に転送するための技術です。これにより、開発者はより高速で軽量なコンパクトモデルを作成でき、元のモデルの性能を維持しつつ、計算能力が制限されたデバイスへのデプロイが可能になります。

仕組み

このプロセスでは、まず大規模なモデルをデータセットで学習させます。学習後、その出力(モデルが異なるカテゴリをどのように関連付けるかについての微妙な「ダークナレッジ」が含まれることが多い)を使用して、より小さなモデルの学習をガイドします。生徒モデルは教師モデルの振る舞いを模倣するように学習し、教師の知識をより合理化されたアーキテクチャに効果的に圧縮します。

対象読者

このコレクションは、本番環境、モバイルデバイス、またはリソースが制限されたハードウェア向けにディープラーニングモデルを最適化しようとしている機械学習研究者やエンジニアを対象としています。

ハイライト

  • 知識蒸留に関する包括的で厳選された学術論文リスト。
  • 1990年に遡る基礎研究を網羅。
  • 敵対的学習、マルチタスク学習、モデル圧縮などの高度なトピックを含む。
  • コンピュータビジョン、自然言語処理(BERT)、音声合成への具体的な応用を特集。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト