Sampling Matters in Deep Embedding Learning

• 기존의 방법들은 loss에 관심을 두었다면 제안하는 방법은 training examples의 구성도 중요함을 보여줌.
  • distance weighted sampling 
• We propose a simple margin-based loss as an extension to the contrastive loss.
• sampling and the loss function influence the overall training objective

 

 

• sampling 정리.
  
  • contrastive loss : 모든 positive pair를 random하게 생성.
  • triplet loss : semi-hard negative mining
    • FaceNet에서는 전체 dataset에서 hard positive/negative를 구하기 어려우므로 mini-batch에서 선택. 이 때 1개의 the hardest positive를 선택하면 학습 시 local minima에 빠지게 되어 semi-hard pair를 선택해서 학습 함. 
    • batch size가 작은 경우 semi-hard가 존재하지 않거나 매우 적을 수 있으므로 semi-hard (n1), then easy (n2) and finally hard negatives (n3) 순으로 sampling
  • distance weighted sampling
    
    • 본 논문에서는 anchor example과의 distance에 따라 examples을 sampling하는 방법 제안.
    • anchor와의 distance가 0.5 이하의 easy negative는 제거하고 anchor, positive, negative 를 구함.