#146
summarized by : Fumiharu Suzuki
Towards Efficient and Effective Self-Supervised Learning of Visual Representations

どんな論文か?

SimCLR、BYOL、SimSiam等の自己教師あり対照学習はオーグメンテーションを利用した正例・負例の区別を行っているため、違う画像だが似た特徴を持つ場合のfalse-positiveや同一画像由来だがインスタンスが異なる場合のfalse-positiveがノイズとして悪影響していた。対照学習へ回転角を推定するサブタスクを追加することで、ノイズの影響を軽減し精度を向上させることを明らかにした。
placeholder

新規性

自己教師あり対照学習のfalse-positive、false-negativeの問題はよく議論されているが、回転のサブタスクが対照学習を補完し、学習効率や到達精度を向上させることを明らかにした点。

結果

SimCLR、BYOL、SimSiam、SwAVに今回の手法を取り入れ、CIFAR10とImageNetの識別タスクでどの組み合わせも精度が向上することを確認した。一番精度が高いのはSwAVと今回の手法の組み合わせだった。

その他(なぜ通ったか?等)

github: https://github.com/val-iisc/EffSSL