- …
- …
#219
summarized by : Akihiro FUJII
どんな論文か？
先行研究の知識蒸留では、同じステージの情報を生徒モデルと教師モデルで比較する手法であった。この研究では、違うステージの情報を考慮しつつ知識蒸留を行う"Knowledge review"を提案。大きく蒸留効果を上げることができた。
新規性
先行研究では同じステージの情報を比較するに留まっていたが、違うステージの情報を考慮できる"Knowledge review"を提案。異なるステージの情報を混ぜ合わせるABFと、生徒モデルのABFで得られた情報をPyramid Poolingして多数の解像度で比較するHCTを使うことがポイント。
結果
画像分類、物体検知、instance segmentaionで効果を確認した
その他（なぜ通ったか？等）
- …
- …