https://arxiv.org/abs/2006.08671
To Pretrain or Not to Pretrain: Examining the Benefits of Pretraining on Resource Rich Tasks (Sinong Wang, Madian Khabsa, Hao Ma)
NLP에서 프리트레이닝은 파인튜닝 샘플 수가 어느 정도일 때까지 효과가 있을까? 정서 분류에서 샘플 수가 백만 건 정도가 되면 간격이 좁혀지는 듯. 이 규모에서도 프리트레이닝된 임베딩을 가져오는 게 효과가 있는 걸 보면 프리트레이닝의 효과가 강력함을 반증하는지도.
#pretraining #nlp #finetuning