https://arxiv.org/abs/2002.03936
Subclass Distillation (Rafael Müller, Simon Kornblith, Geoffrey Hinton)
binary classification과 같이 레이블이 제한적인 상황에서의 KD. teacher가 subclass를 발견하도록 학습시키고 이 subclass를 활용해 student를 학습시킴.
#distillation
https://arxiv.org/abs/2002.03936
Subclass Distillation (Rafael Müller, Simon Kornblith, Geoffrey Hinton)
binary classification과 같이 레이블이 제한적인 상황에서의 KD. teacher가 subclass를 발견하도록 학습시키고 이 subclass를 활용해 student를 학습시킴.
#distillation