#409
summarized by : Hirokatsu Kataoka
Neural Rejuvenation: Improving Deep Network Training by Enhancing Computational Resource Utilization

どんな論文か?

提案のNeural Rejuvenation(ニューロンの若返り)という言葉が示す通り、パラメータの更新が死んでいるニューロンを検出して初期化/再配置を行うことが学習を促進させる手法である。
placeholder

新規性

基本的には論文中の式(1)を最小化させる問題であり、ネットワークアーキテクチャ/計算リソースが設定されている際にいかにニューロンを更新/初期化/再配置しながら誤差を最適化させて行くかを解決。従来解決されていなかった「悪い初期化」「非効率な学習」を改善する方策となった。

結果

表にVGG-19@ImageNetの学習の結果を示す。Baseline(BL)と比較して、パラメータ数はそのままに、Top-1/5 Errorの精度が下がっている。パラメータの初期化/再配置の効果が現れた結果である。

その他(なぜ通ったか?等)