- …
- …
#409
summarized by : Hirokatsu Kataoka
どんな論文か?
提案のNeural Rejuvenation(ニューロンの若返り)という言葉が示す通り、パラメータの更新が死んでいるニューロンを検出して初期化/再配置を行うことが学習を促進させる手法である。
新規性
基本的には論文中の式(1)を最小化させる問題であり、ネットワークアーキテクチャ/計算リソースが設定されている際にいかにニューロンを更新/初期化/再配置しながら誤差を最適化させて行くかを解決。従来解決されていなかった「悪い初期化」「非効率な学習」を改善する方策となった。
結果
表にVGG-19@ImageNetの学習の結果を示す。Baseline(BL)と比較して、パラメータ数はそのままに、Top-1/5 Errorの精度が下がっている。パラメータの初期化/再配置の効果が現れた結果である。
その他(なぜ通ったか?等)
- …
- …