#22
summarized by : Koki Obinata
Local to Global Learning: Gradually Adding Classes for Training Deep Neural Networks

どんな論文か?

訓練データを逐次取捨選択することで学習を改善する学習法としてSelf-Paced learning(SPL)やCurriculum learningがあるが,サンプルごとの学習難易度を評価するコストが大きく,ハイパーパラメータの最適化も難しかった.分類問題において学習対象のカテゴリ数を徐々に大きくするLocal to Global(LGL)学習という枠組みを提案し,上記2つの難点を解消した.
placeholder

新規性

学習対象のカテゴリを順次拡大していく点.これは適切に重みを初期化しているとも捉えられ,学習の安定化に寄与する.

結果

Toy data, CIFAR-10, 100, ImageNetにおいて,ベースライン及びSPL学習よりも高い精度を達成.学習の収束も安定している.

その他(なぜ通ったか?等)

数値実験のみではなく,情報理論の観点からも学習の安定化の考察を行なっている点.