#909
summarized by : 福原吉博 (Yoshihiro Fukuhara)
Single-Step Adversarial Training With Dropout Scheduling

どんな論文か?

Adversarial Training (AT)についての研究。ATは計算コストが大きいのでsingle stepの敵対的サンプルでATすることは計算コストの削減に有用である。一方で、このような簡易的なATはgradient maskingに基づく擬似的な頑健性を生じることが知られており、この問題に取り組んだ研究。
placeholder

新規性

gradient maskingに基づく擬似的な頑健性は学習初期段階での過学習が原因であることを明らかにした。上記の解決策として、dropoutを使用する方法を提案した。先行研究では単純なdropoutの追加は無意味なことが報告されているが、これとは異なる非線形層の後にdropoutを追加する方法を提案している。

結果

MNISTやCIFAR-10において提案手法はPGD-ATに準ずる頑健性をPGDに対しても有することを確認した。一方で計算コストはPGD-ATよりもCIFAR-10で約4倍高速。

その他(なぜ通ったか?等)