https://arxiv.org/abs/2002.08473
Revisiting Training Strategies and Generalization Performance in Deep Metric Learning (Karsten Roth, Timo Milbich, Samarth Sinha, Prateek Gupta, Björn Ommer, Joseph Paul Cohen)
deep metric learning에서 발생하는 문제를 지적. 학습 과정에서 각 클래스의 임베딩이 컴팩트해지는 현상이 발생하는데 이는 여러 의미 있는 방향으로의 분산이 감소한다는 것, 즉 유의미한 정보의 손실이 발생한다는 것을 시사. 이것이 테스트시 테스트 데이터의 분포가 달라지면 성능에 악영향을 미치는 것. 이를 해소하기 위해 학습시 positive/negative 샘플을 뒤집는 간단한 regularization을 제안. metric learning 뿐만 아니라 뉴럴넷의 일반화에 대해서 생각해보게 만드는 듯.
#metric_learning #regularization