- …
- …
#268
summarized by : Ryo Takahashi
どんな論文か?
CNNのプルーニングに関して、チャネルを探索する新たな手法であるCHEXを提案した。
従来のプルーニングが段階を追うごとにモデルをどんどん小さくしていく、つまりモデルサイズが単調減少していくようにプルーニングされていくのに対し、本研究ではレイヤをプルーニングしたり再生させたりすることにより時期尚早なレイヤのプルーニングを防ごうとしている。
新規性
・チャネルのプルーニング(削除)と再生を繰り返している点
・適切なチャネル選択をcolumn subset selection問題に落とし込んで解くという手法を導入した点
・レイヤごとのチャネル数の再配分を行うようにした点。ここでレイヤごとのチャネル数の再配分はbatch normalizationの学習可能なscaling factorを参照しながら行われるようになっている。
結果
Imagenetのクラス分類、COCOデータセットの検出タスク、pointnetの三次元形状クラス分類の各タスクにおいて従来のプルーニング手法よりも高効率なプルーニングを達成した。
その他(なぜ通ったか?等)
プルーニングはモデルサイズを単調減少させていいのか?という問題提起が肝となっているように見える。
レイヤの選択を数学的な最適化問題に落とし込んでいる(数式はしっかり読めていないが)のもポイントか。
- …
- …