#860
summarized by : Hirokatsu Kataoka
Can Weight Sharing Outperform Random Architecture Search? An Investigation With TuNAS

どんな論文か?

自動アーキテクチャ探索(NAS)の文脈において、完全ランダム探索と重み共有の手法を比較。探索時間をそのままに精度向上を実現するTuNASを提案。図中のグラフにおいては3種類のアーキテクチャをベースにして探索した結果、提案の探索方法は探索時間変わらず精度向上する構造を発見した。
placeholder

新規性

大規模な完全ランダム探索と重み共有手法の比較により、両者は問題に依存するが重み共有がランダム探索よりも良いとされる場面を発見した。さらに、手動のハイパーパラメータ探索を減らす手法についても検討した。

結果

ImageNet/MSCOCOを用いて実験を行った。提案のTuNASはランダムサーチよりも良好な精度を実現、物体検出にも汎化、出力のフィルタサイズは重要、などの結論を導いた。

その他(なぜ通ったか?等)