#682
summarized by : Asato Matsumoto
HRank: Filter Pruning Using High-Rank Feature Map

どんな論文か?

特徴マップの高ランク(HRank)を用いた新たなCNNの剪定手法を提案した。従来の手法はフィルタのみを考慮し、入力との関係利用していないため、学習効率悪さや剪定の設計にかかるコストが大きいといった問題があった。本手法はCNNのフィルタが出力する特徴マップの平均マップのランクが、入力バッチの数とは関係なく、同じであるというアイディアがもととなっている。
placeholder

新規性

剪定するパラメータを決めるときに、特徴マップ行列のランクを用いたこと。ランクの計算には特異値分解を行った。高ランクの特徴マップを出力したものを残し、低ランクのものを剪定する。低ランクの特徴量は情報量が少ないため、プルーニングされた結果への影響が少ない。

結果

データセットはCIFAR-10、ImageNetで精度、FLOPTs、パラメータの削減率(PR)で評価を行った。HRankはFLOPsとPRにおいて、同等の精度で大幅な改善を達成した。ResNet-110では、59.2%のパラメータを削減することで58.2%のFLOPs削減を達成し、それと同時にCIFAR-10の精度は0.14%程度の劣化に抑えた。

その他(なぜ通ったか?等)