#437
summarized by : 金城 忍
Stochastic Whitening Batch Normalization

どんな論文か?

推論で入力の平均、分散の指数移動平均で、平均、分散の推定値を更新した値を使用して、Whiteningのための変換行列を更新し、学習でスケーリング、シフト係数を学習することで、ステップ毎に独立していたWhitening行列を内部共変量シフトに対して頑健性のある正規化手法の提案

新規性

入力に対する平均、分散を推論時に推定し、学習時にスケーリング、シフト係数を学習することでWhitening行列を更新するという点で新規

結果

Iterative Normalization (既存手法) との比較においては、VGG+{CIFAR-10、ImageNet}での評価で学習速度を改善する一方で、ResNetV2、WRN+CIFAR-{10,100} での評価では提案手法が良い結果を達成したが、ResNet-50+ImageNetでの評価では既存手法が良い結果を達成

その他(なぜ通ったか?等)