- …
- …
#194
summarized by : Yutaro Oguri
どんな論文か?
物体検出やセグメンテーションのタスクで推論を高速化させる方法として、入力解像度を小さくすることは有効であるが、精度を著しく低下させてしまう。そこで、Knowledge Distillation(KD)により、高解像度の教師モデルから低解像度の生徒モデルにDistillすることを試みた。主にFPNを参考にし、一連の"aligned multi-scale training"という枠組みとして提案。
新規性
推論の高速化のための工夫として、枝刈りや効率の良いBlockの設計などは多く研究されていたが、これらはdepth/widthに対するアプローチであった。ネットワーク構造のスケーリングに重要なもう一つの要素であるresolutionに対するアプローチをした点。単なる画像分類とは異なり、物体検出等では異なる解像度間のKDはChallengingだったが、それを形にした点。
結果
従来のMulti-scale trainingによる高解像度(を想定した)モデルと本手法により学習された低解像度モデルを比較したところ、低解像度の入力の場合において2.1% ~ 3.6%のmAPの向上が見られた。
その他(なぜ通ったか?等)
github: https://github.com/dvlab-research/MSAD
- …
- …