- …
- …
#96
summarized by : Shunsuke Yoshizawa
どんな論文か？
Knowledge distillationにおいて、教師モデルが間違えた部分を生徒モデルが引き継がないようにする機構を導入することを提案した。
新規性
抽出した特徴について、あるチャンネルについては教師モデルから抽出した特徴とは異なる特徴を抽出するように損失関数を修正した点
結果
CIFAR10, CIFAR10, ASCAL VOC2007.においてdistillationを行った結果、既存のdistillation手法を上回る精度を得ることに成功
その他（なぜ通ったか？等）
式としても単純であり、実装がしやすいことが評価されたように感じる。大きく離れすぎた場合はある一定の値に収束するように損失関数をsigmoid状にすると安定するかもしれない。
- …
- …