#517
summarized by : Obi
Rethinking Performance Estimation in Neural Architecture Search

どんな論文か?

NASにおいて、サンプリングされた個々のモデルの評価時間を短縮するため、学習の早期終了やデータのサンプリング、画像解像度の削減、精度を予測するモデルの構築などが行われるが、本論文では理想的な学習設定と相関が高くなるような学習設定を探索することで評価時間を短縮する。強化学習や遺伝的アルゴリズムと組み合わせた場合、探索時間が1000分の1程度まで短縮された。
placeholder

新規性

エポック数やバッチサイズ等を理想的に設定した場合と相関が高く、かつ学習時間が短縮されるようなハイパラ設定を探索するという点で新しい。探索の課程では、理想的な学習条件の精度とサンプリングしてきたハイパラ設定との相関係数を目的変数にし、ランダムフォレストの学習により、重要なハイパラを選択する。

結果

強化学習や遺伝的アルゴリズムと組み合わせた場合に、精度はほぼ変わらず、探索時間がおよそ1000分の1程度に短縮された。

その他(なぜ通ったか?等)