#299
summarized by : Hiroki Ohashi
Meta Pseudo Labels

どんな論文か?

半教師付き学習の新規手法を提案。ラベル無しデータに対して疑似ラベルを割り当てるteacher netと、その疑似ラベル及び少量のラベル付きデータを用いて学習を行うstudent netの対を用いるPseudo Label (self-trainingとも)をベースに、studentの出来映えをteacherにfeedbackすることで、teacherをより賢くする手法を提案。
placeholder

新規性

従来のPseudo Labelでは、teacher netのパラメータは事前学習を行った後は固定されていた。しかし、teacherの性能が十分良くない場合、studentの性能も頭打ちしてしまう問題があった。そこで本研究では、studentのラベル付きデータに対する性能をteacherにfeedbackすることで、teacherのパラメータを更新可能にした。

結果

ImageNetのtop-1 accuracyでSOTAとなる90.2%(+1.6%)を達成。アーキテクチャはEfficientNet-L2、ラベル無しデータセットとしてJFTデータセットの中から1.3億枚分の画像を使用した。

その他(なぜ通ったか?等)

シンプルながら非常に納得感のある定式化でSOTAを達成した点が評価されたと思われる。また論文も非常に明快で分かりやすく書かれている。ImageNetの実験には2048個のTPUv3 coreのクラスタを使ったとあるが、この規模の学習を行うために並列化にも様々な工夫がなされており、1パラグラフを割いてその方法が解説されている点が興味深い。