- …
- …
#379
summarized by : Hiroki Ohashi
どんな論文か？
自己教師付き学習（SSL: Self-Supervised Learning）の効果が、ラベル付きデータ数・対象データの複雑さ・対象タスク・用いるモデルのサイズなどによってどのように変わるかを調査。実験は合成データを用いて、ラベル数とデータの複雑さ（viewや照明条件など）を制御できるようにし、物体識別・姿勢推定・セグメンテーション・デプス推定の4種のタスクについてResNet9及び50で行った。
新規性
自己教師付き学習の効果に関する統括的な調査。
結果
図の(c)のようにラベル数に対して精度がサチる前にSSLの効果はなくなること、SSLはより複雑なデータ（例：照明条件等が一様でない）やよりパラメータ数の多いモデルに対してより効果的であること、適用するタスクによってどのようなpretextタスク（＝自己教師付き学習の手法）が良いかが異なること、が分かった。
その他（なぜ通ったか？等）
最近増加傾向にあって様々な手法が乱立気味になる中、実際的な効果に関するまとまった理解がまだ進んでいないSSL関係の効果について統括的に調査をし、一定条件のもとで、どのようなときに効果があってどのようなときに効果が無いかを数多くの実験によって示したため。
- …
- …