#91
summarized by : Yue Qiu
Cross-Batch Memory for Embedding Learning

どんな論文か?

Deep Metric Learning (DML)の negative examplesの情報を有効的に利用できるCross-batch memory構造XBMを提案.XBMにより,マルチmini-batches, または全データセットからhard negative pairsの情報を有効的に保存でき,XBMを従来のDML手法に適応することで大幅精度向上が達成.
placeholder

新規性

①Slow drift phenomenaを発見.この現象により実際に学習のプロセスではEmbedding featuresのdriftが極めて遅く、ネットワークの学習が進むことにより有効的にHard negative examplesの情報を有効的に利用できなくなる.②simple, memory efficientなXBMを提案し、有効的にSlow drift を防ぐ効果を得られた.

結果

XBMを従来のDML手法に適応することで大幅に精度向上できた.(例:3つの既存データセットでR@1を12%-22.5%に改善)

その他(なぜ通ったか?等)

提案のXBMがSimpleで実装しやすく、かつMemory efficientである.XBMを従来のDML手法に適応することで性能を向上できた.