https://arxiv.org/abs/2104.14548 augment된 이미지가 아니라 nearest neighbor를 positive pair로 사용하는 self supervised learning. 성능이 꽤 올라오는 동시에 흥미로운 방향의 접근. nearest neighbor은 256 dim feature에 대해 10만 개 정도의 큐를 유지하고 그 안에서 찾는 방식이라 그럭저럭 할만한 규모. byol도 그렇고 구글/딥마인드에서 self supervision에서 흥미로운 결과가 많이 나온다. (당연한가?) 다른 한 축은 fair라고 할 수 있겠고.
#review