#172
summarized by : Anonymous
BN-NAS: Neural Architecture Search With Batch Normalization

どんな論文か?

従来のOneShotNASではすべての重みを一括して学習していたところを本研究ではバッチノーマライゼーションのパラメータのみを学習することで、構成したいNASを高速に探索することに成功した。フレームワークとして3段階の構造をしており、最もAccuracyが高いパスを探索し、それを再学習することで実現している。これを利用することより、学習時間及び探索時間を大幅に短縮することができた。

新規性

従来はすべてひっくるめて学習をしており、バッチノーマライゼーションのパラメータのみを学習するフレームワークに新規性がある。最初にパスの探索を行う。畳み込み、バッチノーマライゼーション、reluを1ブロックとして何層も形成し、それぞれの層から1ブロック選択して、1パスを取得する。それの組み合わせを多数作りそれぞれで学習を行う。次にどのパスが最も精度の良かったパスを取得して、最後に再学習を行う。

結果

この一連の学習を実行することによって、比較対象としているSPOSで学習に100エポックかかっていたところを10エポックプラスアルファで完了し、探索に1GPU/日だったところを0.14CPU/秒で終了するという結果となった。

その他(なぜ通ったか?等)