- …
- …
#54
summarized by : Tomoro Tokusumi
どんな論文か?
CNNベースのモデルの推論速度を高速化するための手法としてfilterの枝刈り (pruning)が注目されている。
様々な枝刈りの手法が提案されているが、2つの課題が知られている。①残差接続の枝刈り手法が確立されていない。②小規模データでの枝刈りは精度の劣化が激しい。
上記2点解決するための手法を提案した。
新規性
現行の手法では残差接続の入力チャンネルの枝刈りが行われて、bottleneck構造の中間層のサイズだけが小さくなり、表現能力が著しく低下している。
そこで、出力チャンネルも同時に枝刈りを行うことでbottleneck構造を維持するか、wallet構造に留める手法を提案した。
また、小規模データでの性能劣化を低減させるためにlabelのノイズを抑えるlabel refinementを提案した。
結果
ImageNetでResNet50に提案手法を施し、素のモデルよりも、パラメータ数を1/4、積和演算回数を1/4にしながら精度の低下を2 ~ 3%に抑えた。
また、小規模データ(数千枚で30~200カテゴリ)で提案手法を施した場合は、単にfine-tuningしたMobileNetV2やResNet50よりも積和演算回数を1/3~1/4にしながら同程度、または、より高い精度を達成した。
その他(なぜ通ったか?等)
- …
- …