#605
summarized by : 伊藤 諒悟
Regularizing Neural Networks via Adversarial Model Perturbation

どんな論文か?

経験損失の局所的なflat minimaがモデルの汎化を向上させることに注目し、新たな正規化手法としてadversarial model perturbation (AMP)ロスを提案。経験損失のパラメータに小さなノイズ(摂動)を加えて操作することで、経験損失の局所的なflat minimaを局所解として得ることができることを示した。
placeholder

新規性

経験損失のパラメータに摂動を加えて新たなロスを定義したこと。

結果

データセットやネットワークを変えて、モデルの汎化性能を他の正規化手法と比較し、その有効性を示した。

その他(なぜ通ったか?等)

公式実装:https://github.com/hiyouga/AMP-Regularizer