- …
- …
#696
summarized by : 山縣英介
どんな論文か？
NASでネットワークのパラメータや特徴量を保持するために必要な大量のメモリを，ネットワークの性能同様に最適化の対象にすることによって削減する手法を提案する論文．
新規性
従来手法のほとんどが探索が進むにつれアーキテクチャにレイヤーとエッジを追加していくgrow-onlyなものであったが，提案しているgrow-and-trimでは性能を大きく落とさずにアーキテクチャのレイヤーやエッジを取り除いている．メモリ効率がいい上に，多様なアーキテクチャが生成され流ことによって高性能なネットワークが見つかる確率も高くなる．
結果
CIFAR-10とImageNetに最適なネットワークアーキテクチャを探索して評価．MobileNetV2と比較してCIFARはほぼ同様，ImageNetは上回る性能．メモリはCIFARで1M以下のパラメータメモリ，ImageNetはMobileNetV2に比べて42%削減．
その他（なぜ通ったか？等）
NASはメモリ使用量が多く携帯機器での実装は困難である．この研究はその解決する手法を性能を大きく落とさず提案している．
- …
- …