#64
summarized by : Obi
Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks

どんな論文か?

インスタンス毎に計算可能で、チャネルについても独立に計算可能な、新しい正規化手法の提案。バッチサイズが少ない場合に不安定なBatch Normalizationの課題を解決しており、また、少ないバッチサイズでも有効なGroup Normalizationで求められるLayer数に関する制限も排除されている。実験された全てのバッチサイズにおいて他の正規化手法より高い精度を達成している。
placeholder

新規性

活性化関数の直前の入力について、ゼロ平均化は行わず、根二乗平均での正規化のみに絞っている(Filter Response Normalization)。このFRNはインスタンス及びチャネルに関して独立に計算可能であるため、他の正規化手法に伴う不安定性の多くを克服している。また、正規化の直後にバイアス項付きのReLUを用いている。

結果

画像分類(Imagenet)と物体検知(COCO)でそれぞれバッチサイズを変化させて精度比較し、全ての条件において他の正規化手法を超えている。使用したモデルはResnetV2-50, InceptionV3, VGG-Aであり、スキップ結合, Convolution, 全結合いずれの構造に対しても有用であることを示している。Warm-upや学習率のスケジューリングに対しては気を遣う必要がある。

その他(なぜ通ったか?等)

動画や高解像度画像など、1サンプルあたりのデータサイズが大きいタスクを扱う機会は今後も増えてくると思われるが、そのようなタスクで生じる「バッチサイズを大きく取れない」という課題に有効な手法を提案している。