- …
- …
#250
summarized by : Obi
どんな論文か？
NAS(Neural architecture search)において、目的変数の微分可能性に依らないNAS手法を提案している。先行研究では、微分不可能な勾配を近似する際と、モデル構造という離散変数を連続変数に緩和して取り扱う際にバイアスが生じていたが、本手法はそれらのバイアスを生じさせない手法となっている。また、目的関数の中に汎化ギャップ項を導入することで、精度向上を達成した。
新規性
目的関数の微分可能性に依らず、コントロール変数を用いて目的関数の勾配を式変形することで、計算される勾配にバイアスが生じず、かつ低分散にしている点が新しい。また、離散分布の期待値を推定するにあたり、離散変数モデルの勾配を小さな分散で推定する手法(REBAR)を利用している。目的変数に汎化ギャップ項を導入した点にも新規性がある。
結果
ネットワーク構造のセルを探索するタスクでは、先行研究で探索されたセルと比較し2番目に高い精度のセルを探索している。1番目のセルを探索する手法は約3000GPU daysであり、提案手法は4.3GPU daysであることを考慮すると、少ない計算コストで高い精度を出す手法となっている。レイテンシも最適化するタスクでも、精度とレイテンシでバランス良く高い性能を出している。
その他（なぜ通ったか？等）
目的関数の微分可能性に依存せず、かつバイアスも生じないというのは、適用範囲が広くてありがたい。
- …
- …