#202
summarized by : MatsuokaHikaru
An Internal Covariate Shift Bounding Algorithm for Deep Neural Networks by Unitizing Layers' Outputs

どんな論文か?

バッチ正規化において低い次元やノイズが少ないときは、内部共変量シフトの安定性が評価されている。しかしノイズが多いときや高次元の時は、不安定な事を示している。そして解決策として、Earth Mover (EM) distanceを用いてバッチ正規化を提案している。
placeholder

新規性

BN層が上手くいかないケースを示したうえで解決策としてEarth Mover (EM) distanceを導入し上限と下限を設定した。そしてこのやり方の有効性を確認している。

結果

CIFAR-10, CIFAR-100, ImageNetにて既存のBN層を超えるAccuracyを獲得した。

その他(なぜ通ったか?等)