#939
summarized by : kiyo
An Investigation Into the Stochasticity of Batch Whitening

どんな論文か?

バッチ白色化は用いる手法により学習の挙動に違いが出る。これはミニバッチの確率的な振る舞いが異なるためと考えられる。この論文では、白色化手法のばらつきに対する頑健さの指標であるSNDを提案し、次元やバッチサイズによる影響を評価している。また、分類問題とGANでの性能の違いを実験的に調べている。

新規性

ミニバッチデータに対する白色化の挙動の違いを確率論的な観点から調べた。新規のバッチ白色化アルゴリズムを提案した。GANの学習における性能と安定性には白色化の確率的な挙動が重要であることを主張した。

結果

提案白色化手法の導入によりResNet-50によるImageNetの分類で精度を1%改善。GANにも複数の白色化手法を適用して実験しているが、性能の高い手法は安定性が低い結果となっている。

その他(なぜ通ったか?等)