#65
summarized by : s ishikawa
Enhancing Adversarial Training With Second-Order Statistics of Weights

どんな論文か?

ニューラルネットワークの重みの2次統計量を用いた敵対的学習に関する論文.目的関数に2次統計量に関するペナルティを加えることで,敵対的攻撃(ホワイトボックス攻撃,ブラックボックス攻撃,Auto Attack)に対するロバストネスを向上させた.2次統計量としては重みに関する相関行列を用いている.
placeholder

新規性

2次統計量(重みに関する相関行列)を用いて,PACベイズによる敵対的汎化バウンドを改善した.またその汎化バウンドに基づいて,2次統計量を用いた敵対的学習アルゴリズムを新たに提案し検証することで,敵対的学習において2次統計量を考慮することが有効であることを示した.

結果

1. PreAct ResNet-18で今回の手法を用いた最適化を行ったところ,正答率及びPGD-20攻撃に対するロバストネスが改善. 2.今回の手法をTRADESやTRADES+AWP,AVMixup,MARTなどの手法と組み合わせて最適化を行うと,ホワイトボックス攻撃やAuto Attack,ブラックボックス攻撃に対するロバストネスが向上.

その他(なぜ通ったか?等)