#453
summarized by : Hirokatsu Kataoka
Knowledge Evolution in Neural Networks

どんな論文か?

従来の深層学習ではラベル付けされた大規模画像データセットによる学習により実施されることが多かったが、本論文では比較的小規模な画像データセットでの学習を対象としている。進化理論にインスパイアされた学習方法 Knowledge Evolution(KE)により比較的小規模な画像データセットでの学習を高度にすることを目的とする。

新規性

KEの提案による比較的小規模な画像データセットへの汎化が新規性である。KEではFit仮説とReset仮説を用い、Reset仮説に摂動を与えて世代交代を繰り返すことによりFit仮説の知識を反復的に進化させることができる。KEにより、比較的小規模なモデルにおいても性能が向上することを明らかにした。

結果

添付画像はFlower-102 / CUB-200における学習の進展である。提案手法のKEの方が世代を経るごとに性能が向上していることがわかる。さらに、これは比較的小さなモデルでも精度向上が見られることがわかり、推論時間も短く抑えられることが明らかとなった。

その他(なぜ通ったか?等)