#1006
summarized by : Hirokatsu Kataoka
Exemplar Normalization for Learning Deep Representation

どんな論文か?

深層学習の畳み込み層(Convolutional Layer)や画像サンプルの正規化手法を提供するExemplar Normalization(EN)の提案。
placeholder

新規性

層やサンプルに応じて正規化手法を動的に変更できるSwitchable Normalization(SN)の柔軟性を大幅に向上。各正規化層で複数の正規化を線形に組み合わせる。モデル学習の安定化にも貢献した。

結果

ResNet-50を用いてImageNet/WebVisionデータセットに適用した。Batch Normalization(BN)を提案のEN、比較手法であるSNと比較したところ、提案手法の効果は300%以上であった(図参照)。CIFAR10/ADE20Kにおいても同様に効果が確認できた。

その他(なぜ通ったか?等)

BN/SNと比較して学習安定化・精度向上などのメリットがある。また、BN->SNと比較した際の効果が大きいため、今後のデファクトスタンダードを置き換える可能性を示唆した。