- …
- …
#169
summarized by : Takayuki Semitsu
どんな論文か？
平坦な局所最適解(flat local minima)がモデルの汎化性を高めていると言う知見に基づいた敵対的モデル摂動損失(Adversarial Model Perturbation Loss)を提案。モデルパラメータに摂動を加えた中の最悪値をLossとして算出することでより平坦な局所解に到達する様促す。
新規性
平坦な局所最適解の仮説に対し、効果的な正則化方法を新しく提案
結果
cifar10, SVHN, cifar100をデータセットとして、ResNet, VGG-16をベースモデルとして用い、経験損失最小化(基本的な最適化)を含めた多数の既存手法と比較し、提案手法の有効性を確かめた。また、最新のモデル(WideResNet,PyramidNet)と正則化手法(Cutout,AutoAug)と組み合わせても精度改善の効果があることを確かめた。
その他（なぜ通ったか？等）
https://github.com/hiyouga/AMP-Regularizer
提案手法の概念図がわかりやすく提案手法の効果に納得しやすい。
実験の評価軸が見やすく効果に納得しやすい。
- …
- …