#398
summarized by : 志田遥飛
Align Representations With Base: A New Approach to Self-Supervised Learning
Shaofeng Zhang; Lyn Qiu; Feng Zhu; Junchi Yan; Hengrui Zhang; Rui Zhao; Hongyang Li; Xiaokang Yang

どんな論文か？

本論文では自己教師あり学習で起きる縮退解を回避する方法ARB(Align Representations with Base)を提案するとともに，なぜ回避できるのかを理論的に解説する．また，提案手法はImageNet，CIFAR10，CIFAR100を用いた下流タスクで有効性を示した．
placeholder

新規性

既存のSSL手法が抱える問題点を解決した点で新規性がある． 従来の縮退解を回避できるような手法は2つ問題があった．(1)類似度推定に二次関数的な複雑さが生まれる(SimCLR)，(2)なぜ回避できるのか説明できない(BYOL，SimSiam)．こういった問題を解決すべく，「線形オーダで目的関数の複雑さを達成」「理論的に説明可能」な手法を提案した．

結果

CIFAR10と，CIFAR100，ImageNet-100を用いて既存の対象的，非対称的なモデルと性能の比較実験を行い対称的なモデルの中でトップクラスの精度を叩き出した．また3.4Theoretical analysisで本手法がどのようにして縮退解を回避しているかを説明している．

その他（なぜ通ったか？等）

【添付した画像】 CIFAR10と，CIFAR100，ImageNet-100を用いて既存の対象的，非対称的なモデルとの比較

このページで利用されている画像は論文から引用しています．