- …
- …
#934
summarized by : Satoshi Inose
どんな論文か?
Deeply-supervised Learningにおいて、Knowledge Synergyという新しい損失関数を提案した。Deeply-supervised Learningを適用したモデルで計算されたクラス予測出力について、1)各層出力と正解の損失の重み付き平均、2)各層出力同士の損失、という2種の損失を合わせた損失関数を定義し、それを最小化するように学習させる。
新規性
既存のDeeply-supervised Learningでは、概要1の損失のみを使っていた。よって、「補助層・最終出力層 vs 正解」の損失は考慮されていたが、各層の出力同士の関係は考慮されていなかった。学習時に「各層の出力 vs 各層の出力」の損失も考慮することで、モデルの精度が向上した。
結果
CIFAR-100、ImageNetデータセットを用いて検証を実施。ResNet、WRN、DenseNet、MobileNetの4モデルに対し、通常の場合/Deeply-supervised Learning/提案手法の3パターンを比較。結果として、全ての場合において提案手法が最良との結果を得た。
その他(なぜ通ったか?等)
- …
- …