https://arxiv.org/abs/2002.12915
The Implicit and Explicit Regularization Effects of Dropout (Colin Wei, Sham Kakade, Tengyu Ma)
드랍아웃의 효과를 explicit(모델의 stability - flatness로 생각할 수 있을 듯)한 효과와 implicit(그래디언트 노이즈)한 효과로 분해. 드랍아웃이 분명히 coadaptation이라는 아이디어에서 왔던 것 같은데...(flatness와 coadaptation은 관련지어 생각할 수 있을지도?)
#regularization #dropout