#170
summarized by : 福原吉博 (Yoshihiro Fukuhara)
How Well Do Self-Supervised Models Transfer?

どんな論文か?

13種類の SoTA の自己教師学習手法で訓練したモデルを 40種類の downstream task に転移させて, 教師ありで訓練したモデルを転移させた場合との性能を比較した.
placeholder

新規性

包括的な実験によって, 自己教師学習によって獲得される特徴表現の転移性能を明らかにした. downstream task についても多くの種類が実験されており, 物体検出やセグメンテーションなど空間的な情報を扱うタスクや, few-shot learning などのタスクにおいては, 転移前のモデルの ImageNet Top-1 Acc. と転移後の精度の相関が弱いことを発見した.

結果

いずれの downstream task においても自己教師で事前学習したモデルの方が, 教師ありで事前学習した場合よりも良い性能を示した. 一方で, 全ての下流タスクで万能な自己教師学習手法はなかった. また, 自己教師学習で獲得された特徴表現は色情報を捨てる傾向にあり, オーバーフィッテイングが少ない傾向にあった.

その他(なぜ通ったか?等)