#695
summarized by : 古澤嘉久
High-Frequency Component Helps Explain the Generalization of Convolutional Neural Networks

どんな論文か?

CNNは入力の高周波数帯の影響を受けるとされているが,人間は低周波帯の入力をもとに判断しているので,CNNで精度向上に効果がある手法(Batch NormやMix up)などが,それぞれの周波数帯に対してどのような効果があるのかを仮説・実験ベースに検証している.また,敵対的摂動に関しては,敵対的学習を通してフィルターを見ることで,敵対的摂動と精度のトレードオフについて議論している.

新規性

単一な精度評価ではなく入力領域を周波数ごとに閾値を設けて,閾値ごとに条件をわけ,学習・評価をすることで,人間が認識しやすい低周波成分の影響を受けているのかを実験的に評価する方法を提案.

結果

単一の指標上での性能の上昇と,視覚的嗜好とが一致するわけではなかった.CNNで精度向上に効果がある手法は,高周波成分の情報を必要とする可能性が示唆され,敵対的摂動と精度のトレードオフに関しては,敵対的学習を通したモデルでは,フィルターが平滑化されている様子が見られたが,必ずしも逆が成立するわけではなかった.

その他(なぜ通ったか?等)