- …
- …
#372
summarized by : 金城 忍
どんな論文か？
Teacher-Studentモデルにおいて、Teacherに対するBatch normalizationをStudentで使用するそれの平均、分散の指数平滑移動平均を利用して正規化をすることで、Teacherによって生成される、学習データに対する疑似ラベルへのサンプル間の依存性から発生する問題及び、それに起因する更新前後のパラメータの不一致を改善する提案
新規性
TeacherモデルのBatch normalizationに使用される平均、分散を、Studentモデルのそれらに対する指数平滑移動平均的として更新するという点で新規
結果
ResNet-50をベースとしImageNetでFixMatch、MoCo、BYOLを使用した評価では、既存の正規化手法と比較し、良い結果 (Top1) を達成
その他（なぜ通ったか？等）
- …
- …