https://arxiv.org/abs/2112.00496
Revisiting the Transferability of Supervised Pretraining: an MLP Perspective (Yizhou Wang, Shixiang Tang, Feng Zhu, Lei Bai, Rui Zhao, Donglian Qi, Wanli Ouyang)
unsupervised pretraining을 위한 모델에 흔히 사용되는 mlp projector를 supervised pretraining에 적용했더니 성능이 향상되더라는 결과. 제 생각엔 이런 많은 transfer 과제들이, 특히 linear evaluation 같은 방식으로 평가한 결과들이 상당부분 dimensional collapse와 과제에 맞는 적당한 disentangled representation을 찾는 것에 크게 좌우되고 있지 않았나 싶습니다.
#pretraining #transfer