- …
- …
#812
summarized by : Asato Matsumoto
どんな論文か？
バッチノーマライゼーション(BN)層を含むニューラルネットワーク(NN)の継続学習のための2次最適化手法XK-FACを提案した。NNの2次最適化では曲率の計算にK-FACが広く用いられているが、入力バッチ間に依存性がある場合には適切な近似ができなくなる。そこで本手法では入力バッチ間の関係を考慮したXK-FACを提案した。また、継続学習でのBNのパラメータの最適化法を提案した。
新規性
XK-FACは入力バッチごとに分離して2階微分を求めることで、全てのミニバッチを同等にサンプリングすることができるようになる。継続学習ではBNの重みのマージと再パラメータ化手法と、ソースタスクデータを用いないハイパーパラメータ選択手法を提案した。
結果
Permuted MNISTとImageNet+fine-grained classificationで実験を行った。タスクを逐次的に学習したときの分類精度で評価したところ、XK-FACは、ハイパーパラメータの選択にソースタスクデータを用いることなく、Fixed BN、K-FACよりも優れた性能を発揮した。
その他（なぜ通ったか？等）
- …
- …