#546
summarized by : hiroki iida
Variational Convolutional Neural Network Pruning
Chenglong Zhao, Bingbing Ni, Jian Zhang, Qiwei Zhao, Wenjun Zhang, Qi Tian

どんな論文か？

Deep Convolutional Neural Networksは、性能は良いが、容量と計算量が必要なので、よりコンパクトにすることを求められる。既存の手法は、コンパクトにするためにtrainする必要があり、時間的なロスや手続き的な困難さがある。さらに、不安定になることもある。そこで、より安定で追加的な学習が必要ない手法を変分ベイズ法とバッチ正規化を使用して実現する。
placeholder

新規性

バッチ正規化の式を変形し、ミニバッチモンテカルロ法を使用することで、変分ベイズの式とすると共に、スパースにする事前分布として平均0の正規分布を選ぶことで、解析解が導出可能なKL-Divergenceにすることで、スパースかつ計算量が増えない形で変分ベイズ推定を実現し、これを利用してchannelの枝狩りを行い、モデルをコンパクトにしたこと。これにより、追加的な学習の必要性をなくした。

結果

モデルは、VGG-16, DenseNet-40, ResNet-20, ResNet-56, ResNet-110, ResNet164について調査。データはCIFAR-10, CIFAR-100, ImageNetで調査。精度低下を3%以下に抑え、モデルでは30%以上削減している。(CIFAR10は殆どのモデルで、60%以上も削減)

その他（なぜ通ったか？等）

    このページで利用されている画像は論文から引用しています．