- …
- …
#376
summarized by : Obi
どんな論文か？
ネットワークの制約に対し、CNNのチャネル数を変化させることでネットワーク探索をする手法。制約関数を隣接2層毎の関数に、モデルの精度を1層毎の関数に分解することで、制約条件及びモデルの精度を線形計画問題に落とし込み、Viterbiアルゴリズムで最適なモデルを決定する。また、精度向上のためチャネル数のサンプリングにアニーリングを適用している。
新規性
制約関数を隣接2層の項に分解して近似し、線形計画問題に落として込んでおり、線形モデルでも高い精度で予測出来ている。また、モデルの精度についても層毎の線形和で近似することで、最終的に線形計画問題に落とし込み、Viterbiアルゴリズムで最適な層の組み合わせを探索するという点は新しく、全探索の結果が得られるのが良い。
結果
先行研究としてSlimmable Networkを用いたNASと主な比較対象とし、FLOPSやCPU/GPUネットワークレイテンシを制約条件としてImageNetで精度比較を行っている。FLOPS制約下では若干劣ったが、より実用的な制約条件であるレイテンシ制約下では先行研究を上回る結果に。
その他（なぜ通ったか？等）
探索対象のモデル構造を考慮し、目的関数や制約関数を適切に分解して近似しているのは良い発想だと感じた。線形和に落とし込むことで、線形計画問題や動的計画法といったアルゴリズムも活用できており上手。
- …
- …