#934
summarized by : Satoshi Inose
Deeply-Supervised Knowledge Synergy

どんな論文か?

Deeply-supervised Learningにおいて、Knowledge Synergyという新しい損失関数を提案した。Deeply-supervised Learningを適用したモデルで計算されたクラス予測出力について、1)各層出力と正解の損失の重み付き平均、2)各層出力同士の損失、という2種の損失を合わせた損失関数を定義し、それを最小化するように学習させる。
placeholder

新規性

既存のDeeply-supervised Learningでは、概要1の損失のみを使っていた。よって、「補助層・最終出力層 vs 正解」の損失は考慮されていたが、各層の出力同士の関係は考慮されていなかった。学習時に「各層の出力 vs 各層の出力」の損失も考慮することで、モデルの精度が向上した。

結果

CIFAR-100、ImageNetデータセットを用いて検証を実施。ResNet、WRN、DenseNet、MobileNetの4モデルに対し、通常の場合/Deeply-supervised Learning/提案手法の3パターンを比較。結果として、全ての場合において提案手法が最良との結果を得た。

その他(なぜ通ったか?等)