- …
- …
#338
summarized by : Hiroaki Aizawa
どんな論文か？
中間特徴を知識蒸留するアプローチにおいて追加のTeacherモデルは必要か？という問いに取り組んだ論文．実際に，Teacher-basedな知識蒸留モデルやStudentのみを利用する自己蒸留モデルを前述の観点から再評価を行い，Teacherモデルの必要性について論じ，Teacherモデルが必要ない特徴蒸留モデル Tf-FDを提案している．
新規性
知識蒸留による性能改善の要因を実験的に分析し，追加のTeacherモデルは常に必要ではないことを明らかにしたこと，Studentのみで完結し，Student内の中間層表現をチャネルと層間に渡り模倣させる方法を考案したこと，正則化の観点から提案するTf-FDを分析したことが新規性として挙げられる．
結果
cifar100とImageNetで提案手法の有効性を検証し，ベースラインよりもそれぞれ1.07%から1.56%，0.71%の改善を達成．また追加のモデルを必要としないため学習効率も改善．また物体検出タスクでも有効性を実証した．
その他（なぜ通ったか？等）
- …
- …