#351
summarized by : Daisuke Makino
SSN: Learning Sparse Switchable Normalization via SparsestMax

どんな論文か?

CNNの正規化手法としてSparse Switchable Normalization(SSN)を提案。Switchable Normalization(SN)は様々なタスクに対する適用性やバッチサイズに対する頑健性など優れた正規化手法として知られる。SSNはSNの恩恵を引き継ぎつつ計算コストの削減に成功した。

新規性

SSNの由来となるSparsestMaxを提案。SparsestMaxはsoftmaxのスパースバージョン。SparsestMaxによってL0やL1などの制限付き最適化問題をフィードフォワード計算に変換した。

結果

ImageNetの画像分類、Cityscape、ADE20Kにおけるセマンティックセグメンテーション、Kineticsにおける行動認識で他の正規化手法と同等以上の性能を達成。

その他(なぜ通ったか?等)