- …
- …
#219
summarized by : Hiroki Ohashi
どんな論文か？
CNNの枝刈り(pruning)において、空間方向(3Dの場合は時間方向も)とチャネル方向を同時に扱って枝刈りすることを提案。各レイヤを一旦冗長なbranchに分割し、branchごとに(時)空間方向の解像度を様々に設定、この中から最も有効なbranch以外を枝刈りしてしまう。またbranch内部でチャネルごとにgating functionを設け、冗長なチャネルも枝刈りする。
新規性
既存手法がチャネル方向の枝刈りあるいは(時)空間方向のスケーリングのみを行っていたのに対し、それらをend-to-endに統合的に扱って枝刈りする。ablationではこれらを逐次的に適用する手法と比べても、本研究のように統合的に適用する手法の方が、精度が優れていることを示した。
結果
2D (CIFAR-10 and ImageNet)、3D (UCF-101 and HMDB51)いずれの場合にも、小さいFLOPS数で最高精度を達成。論文中では明示的に言及はされていないが、2Dの場合の精度向上はわずか(<1%)だが、3Dの場合は比較的大きかった(2%>)。
その他（なぜ通ったか？等）
関連研究（チャネル方向の枝刈り手法や時空間方向の解像度を変化させて高精度化する手法など）との相違点が明確に述べられており、かつ単にSoTA達成だけでなく、新規の構成部分が効いていることをablationにより示しているため。
- …
- …