- …
- …
#43
summarized by : Akihiro FUJII
どんな論文か？
VGGのようなBN/スキップ結合なしのネットワークで高精度を出す研究。勾消失を防ぐために学習時はResNetのようにBatch Normとスキップ結合を使うが、推論時にそれらは不要であるという発想。学習後にそれらを１つの畳み込み層に変換することで実現する。同程度のパラメータ数をもつResNet系ネットワークより高精度。
新規性
推論時にBatchNormやSkip結合を用いないネットワークを提案した点。学習時はそれらを使用するが、それらを等価な畳み込み層に変換することで、推論時にそれらを排除している点も貢献。
結果
画像認識において、精度が同程度のResNet系ネットワーク（BatchNormやSkip結合を使用）より高速に動作するネットワークを学習できた。
その他（なぜ通ったか？等）
Batch Normは学習時と推論時に挙動が異なるなどの問題点があるため、他の研究でもBatch Norm無しのネットワークを作る取り組みはチラホラ見られる。この論文で提案されたネットワーク変換方法は、産業応用でもけっこう役にたちそう
- …
- …