- …
- …
#551
summarized by : 福原吉博 (Yoshihiro Fukuhara)
どんな論文か？
自己教師表現学習においてcontrastive learningは強力な手法であるが、既存の手法はnegative sampleを構成する際に学習している表現の情報を十分に考慮しておらず、有用な情報を捨ててしまっている。前述の問題点に着目し、現在獲得している表現に対して敵対的にnegative sampleを構成する手法であるAdversarial Contrastive（AdCo）を提案。
新規性
contrastive lossを最小化するためのモデルのパラメータの更新と、contrastive lossを最大化するためのnegative sampleの更新を交互に行うAdversarial Contrastive Lossを提案。MoCoなどで使用されるFIFOキュー形式でのnegative sampleの構成よりも、学習した特徴表現を素早くnegative sampleに反映可能。
結果
ResNet-50をバックボーンとしたImageNetの分類で既存手法であるBYOLやSWAVよりも高精度を達成。1エポックあたりの計算時間は既存手法と同等程度。また、物体検出タスクへの転移学習でも既存手法と同等以上の精度を達成し、AdCoによって獲得される表現の汎化性能の高さを確認。
その他（なぜ通ったか？等）
https://github.com/maple-research-lab/AdCo
- …
- …