#318
summarized by : Akihiro FUJII
Faster Meta Update Strategy for Noise-Robust Deep Learning

どんな論文か?

メタ学習は時間がかかるが、そのボトルネックがメタ学習逆伝播にあることを特定し、一部の層から全体の勾配が近似できることから、全体で誤差逆伝播を行うことを回避し、計算コストを下げる。従来手法と比較し、性能を維持しながら学習時間を2/3に削減することに成功した。
placeholder

新規性

メタ学習において、メタ学習の誤差逆伝播による更新が学習のボトルネックになっていることを特定した。その勾配計算において、一部の層だけで全体の勾配が近似できることを示し、一部の層でのみ計算を行うことで計算行ストを割くg年した。

結果

WebVisionデータセットにおいて、精度を維持したまま計算量が2/3にできることを示した。また、ノイズを載せたり、long-tailedにしたCIFAR10/CIFAR100でも効果を発揮することを確認

その他(なぜ通ったか?等)

https://github.com/youjiangxu/FaMUS