#54
summarized by : Tomoro Tokusumi
Neural Network Pruning With Residual-Connections and Limited-Data

どんな論文か?

CNNベースのモデルの推論速度を高速化するための手法としてfilterの枝刈り (pruning)が注目されている。 様々な枝刈りの手法が提案されているが、2つの課題が知られている。①残差接続の枝刈り手法が確立されていない。②小規模データでの枝刈りは精度の劣化が激しい。 上記2点解決するための手法を提案した。

新規性

現行の手法では残差接続の入力チャンネルの枝刈りが行われて、bottleneck構造の中間層のサイズだけが小さくなり、表現能力が著しく低下している。 そこで、出力チャンネルも同時に枝刈りを行うことでbottleneck構造を維持するか、wallet構造に留める手法を提案した。 また、小規模データでの性能劣化を低減させるためにlabelのノイズを抑えるlabel refinementを提案した。

結果

ImageNetでResNet50に提案手法を施し、素のモデルよりも、パラメータ数を1/4、積和演算回数を1/4にしながら精度の低下を2 ~ 3%に抑えた。 また、小規模データ(数千枚で30~200カテゴリ)で提案手法を施した場合は、単にfine-tuningしたMobileNetV2やResNet50よりも積和演算回数を1/3~1/4にしながら同程度、または、より高い精度を達成した。

その他(なぜ通ったか?等)