- …
- …
#365
summarized by : 志田遥飛
どんな論文か？
動的なモデル刈り込みのための新しい定式化を提案．既存のモデル刈り込み手法のほとんどが静的なモデルの最適化に注力しており，入力データに対応してネットワークを探索するようなものがなかった．著者らは神経科学における「ヘブの理論」から着想を得て，ある層でk個のフィルターを処理するマスクを，その層の前の層の活性化状況に基づいて予測することを提案した．本手法は，既存手法よりもFLOps削減の点で優れている．
新規性
本論文では「タスクの損失と刈込損失を切り離すこと」「FLOps削減」が可能なシンプルで動的なハイパーパラメータ探索手法を新しく提案した．それまでの，入力に対して不可知論的なモデルに比べて学習前にFLOpsの削減量を推定できる，学習を安定させることができるなどのメリットが有る．
結果
VGG，ResNet，MobileNetなどのいくつかのニューラルアーキテクチャについてCIFARとImageNetデータセットの実験で有効性を示した．CIFAR10データでは，SOTAと同程度の精度を達成しつつ15%，24%高いFLOps削減に成功．ImageNetではFLOpsを最大13%削減しつつ，刈り込みによる精度の低下を抑制することに成功した．
その他（なぜ通ったか？等）
【添付した画像について】
CIFAR10での実験結果．
3つのアーキテクチャを用いて，刈り込みによる損失やFLOpsをどれだけ削減できたかを高くてきに検証している．
- …
- …