#443
summarized by : 金城 忍
Cross-Iteration Batch Normalization

どんな論文か?

Batch normalizationで使用する平均、標準偏差を重みに関して微分しテイラー近似し過去の任意の回数のIterationの統計情報を取り入れ、現在の統計情報を平均的に近似することで、小さいバッチサイズでの学習に対する性能を改善する提案

新規性

過去の統計情報をテイラー近似し、現在の統計情報に反映させることで白色化するという点で新規

結果

ImageNetを使用したResNet-18での評価では、バッチサイズ8以下の場合、提案手法が既存の手法より良い結果となり、バッチサイズ4+ResNet-50、VGG-16、Inception-v3、DenseNet-121及びMobileNet-v2の評価でも提案手法が良い結果を達成した一方で、物体検知、セグメンテーションにおいては既存手法が良い結果を達成した

その他(なぜ通ったか?等)