#549
summarized by : 金城 忍
Domain-Independent Dominance of Adaptive Methods

どんな論文か?

Adamのパラメタ毎の学習率を正規化し2次モーメントの更新を1ステップずらしてグローバルパラメータに適応し、グローバル学習率と適応度の組み合わせを実験的に評価し、Adamの性能を改善する提案

新規性

グローバルパラメータの更新と適応度の影響を受けた2次モーメントの適応を1ステップずらすことでAdamの性能を改善したという点で新規

結果

CIFAR-{10, 100}+WRN、ImageNet+ResNet、Penn Treebank Test BPC+LSTM及びCIFAR-10+GGANの評価で、提案手法が既存の手法より良い結果を達成する一方で、収束率についても良い結果を示した

その他(なぜ通ったか?等)