#226
summarized by : Hiroki Ohashi
AdderNet: Do We Really Need Multiplications in Deep Learning?

どんな論文か?

CNNの畳み込み演算における掛け算の部分を、より計算コストの低い足し算(引き算)に置き換えることを提案。畳み込み演算は、フィルタと局所特徴量の類似度を内積計算により測っているものと考えることができるが、これをフィルタと局所特徴量のL1 distance(にマイナス符号をつけたもの)で置き換える。この枠組みで安定したパラメータ更新を行うための特別な誤差逆伝搬法と学習率の決め方を提案。
placeholder

新規性

CNNにおける掛け算の演算部分を足し算に置き換えることで計算コストを削減している点、さらにそれを実現するための学習手法。

結果

Conv layerで掛け算を一切使わずに、MNIST・CIFAR-10/100ではCNNとほぼ同等の性能、ImageNetではわずかに劣るものの近い性能を達成。

その他(なぜ通ったか?等)

畳み込み演算における掛け算を足し算に置き換えるという明確な独自性・新規性、かつそれを実現するための学習手法の工夫とablation studyによるその効果の検証がしっかりなされているため。