dkozlov/awesome-knowledge-distillation

Awesome Knowledge Distillation

해결하는 문제

지식 증류는 크고 복잡한 모델(교사 모델)의 '지능'이나 학습된 패턴을 더 작고 효율적인 모델(학생 모델)로 전달하는 기술입니다. 이를 통해 개발자는 더 빠르고 가벼운 소형 모델을 생성할 수 있으며, 원래 모델의 성능을 대부분 유지하면서도 컴퓨팅 성능이 제한된 장치에 배포하기에 적합하게 만듭니다.

작동 방식

이 과정에서 대규모 모델을 데이터셋으로 학습시킵니다. 학습이 완료되면, 모델이 서로 다른 범주를 어떻게 연관시키는지에 대한 미묘한 '암묵적 지식(dark knowledge)'을 포함하는 출력값을 사용하여 더 작은 모델의 학습을 안내합니다. 학생 모델은 교사 모델의 행동을 모방하도록 학습하며, 교사의 지식을 더 간소화된 아키텍처로 효과적으로 압축합니다.

대상 독자

이 모음집은 프로덕션 환경, 모바일 장치 또는 리소스가 제한된 하드웨어를 위해 딥러닝 모델을 최적화하려는 머신러닝 연구원 및 엔지니어를 위한 것입니다.

주요 특징

  • 지식 증류에 관한 포괄적이고 엄선된 학술 논문 목록.
  • 1990년부터 시작된 기초 연구를 다룸.
  • 적대적 학습(adversarial training), 멀티태스킹 학습, 모델 압축과 같은 고급 주제 포함.
  • 컴퓨터 비전, 자연语言 처리(BERT), 음성 합성 분야의 구체적인 응용 사례 제공.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트