https://arxiv.org/abs/2105.04906
VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning (Adrien Bardes, Jean Ponce, Yann LeCun)
contrastive learning의 collapse를 막는 방법. 두 view 사이의 차이는 감소시키면서 개별 view 배치 내의 분산은 일정 수준의 유지시키고 공분산은 감소시키는 regularization을 적용. 배치 크기나 각종 트릭들에 대해서 robust하다는 것이 장점.
#contrastive_learning