#38
summarized by : Teppei Kurita
HyperSTAR: Task-Aware Hyperparameters for Deep Networks

どんな論文か?

未知のデータセットに対するハイパーパラメータ(学習率、Optimizer、Augmentation…)の推薦、ランク付けを行う。いわゆるメタ学習。
placeholder

新規性

特定のデータセットとハイパラ構成を入力したときに、そのパフォーマンス予測器をEnd2Endで学習したことが新規性。加えて、工夫しているところとして、データセット間でパフォーマンススコアにバラツキがあるので、その影響を緩和するために正規化しているところ。また、もし2つのデータセットが同じようなハイパラランクをつける場合は、同じような特徴のデータセットであるべき、という正則化を設けているところ。

結果

従来手法と比較して、評価されたハイパーパラメータの数が半分でも最適な性能を達成。

その他(なぜ通ったか?等)

ハイパーパラメータ学習手法として直観的であり、性能も高いため。