#955
summarized by : Obi
GP-NAS: Gaussian Process Based Neural Architecture Search

どんな論文か?

NASのモデル探索にガウス過程(GP)を活用した。ネットワーク構造間の相関をカーネル関数としてモデル化することで、構造から精度分布を予測している。ネットワークのサンプリングにおいては相互情報量が最大となるネットワークを探索することで、予測分布を効率的に学習している。
placeholder

新規性

モデル構造を入力として、精度をGPにより分布予測している点が新しい。GPに必要なカーネル関数の構成は、ネットワークを指定するパラメータや種類ごとに差を測るよう設計している。また、一度学習したGPの分布を他のタスクにおける事前分布として活用することが出来る。(論文内ではCIFAR-10からImageNetへ)

結果

既存手法と同等の精度を達成。また、サンプリングの戦略に関してランダムサンプリングと比較し、相互情報量に基づく手法は25倍効率的に探索出来た。

その他(なぜ通ったか?等)

GPを用いることで、一度探索した結果の分布を他のタスクの探索における事前分布として活用できるというのは良い点。