#766
summarized by : Kiro Otsu
Partial Order Pruning: For Best Speed/Accuracy Trade-Off in Neural Architecture Search

どんな論文か?

NASでは精度を高めることに主眼が置かれがちだが、現実世界では推論速度も重要である。この論文ではスピードと性能のいい塩梅でアーキテクチャを探索できるPartial Order Pruningというアルゴリズムを提案。例えば、同じ深さなら横に広いモデルは推論が遅くなるので候補から外れていく。半順序仮定を置き、最適化手法には切除平面法を用いることで、探索を高速化している。
placeholder

新規性

・アーキテクチャのスピードと精度のバランスを取るというNASでは新しいタスクの試みである。 ・探索の最適化手法に強化学習でも進化計算でも勾配法でもなく、切除平面法を用いた。

結果

ImageNetタスクにおいてResNet18/50の性能を上回り、レイテンシはそれぞれ43%/39%低くなった。 また、デコーダーアーキテクチャの探索ではリアルタイムなセグメンテーションタスクでSOTAを達成した。

その他(なぜ通ったか?等)