#864
summarized by : Shuhei M Yoshida
Why ReLU Networks Yield High-Confidence Predictions Far Away From the Training Data and How to Mitigate the Problem

どんな論文か?

ReLUを活性関数として使用した際に生じる問題として、学習データから離れた入力(=どのクラスにも分類されないはずのデータ)に対して高い信頼度の分類結果を出力してしまうことが経験的に知られている。このことを数学的に証明し、問題を緩和するための学習手法を提案。

新規性

(1) 区分線形関数(ReLUを活性関数とするDNNを含む)は学習データから離れた入力に対して、高い信頼度の分類結果を出力することを理論的に示した。 (2) この問題を緩和するために、データ分布から離れた入力に対して出力の信頼度を下げるように学習するadversarial confidence enhancing trainingを提案。

結果

MNIST, SVHN, CIFAR-10, CIFAR-100のそれぞれで学習し、学習データと別のデータセットや敵対的データなどで評価。ACETを用いることで、学習データから離れた入力に対して信頼度を低く抑えられることを示した。

その他(なぜ通ったか?等)