- …
- …
#605
summarized by : 伊藤 諒悟
どんな論文か?
経験損失の局所的なflat minimaがモデルの汎化を向上させることに注目し、新たな正規化手法としてadversarial model perturbation (AMP)ロスを提案。経験損失のパラメータに小さなノイズ(摂動)を加えて操作することで、経験損失の局所的なflat minimaを局所解として得ることができることを示した。
新規性
経験損失のパラメータに摂動を加えて新たなロスを定義したこと。
結果
データセットやネットワークを変えて、モデルの汎化性能を他の正規化手法と比較し、その有効性を示した。
その他(なぜ通ったか?等)
公式実装:https://github.com/hiyouga/AMP-Regularizer
- …
- …