#245
summarized by : Tomoro Tokusumi
DMCP: Differentiable Markov Channel Pruning for Neural Networks

どんな論文か?

畳み込み層の出力チャンネルを減らすように重みを削除するchannel pruningの新たな手法をSenseTimeのリサーチグループが提案。 提案手法ではネットワーク構造を状態とし、枝刈りを状態遷移とするマルコフ過程でモデル化した。 この手法では、層毎に枝刈りした出力チャンネル数を明示的に選択可能。 画像分類タスクで様々なFLOPs要件を満たすように枝刈りした場合の性能劣化を評価した。

新規性

AMC(強化学習を応用)やMetaPruning (進化的アルゴリズムを応用)などの先行手法では構造の探索のために多大な構造を学習、もしくは評価する必要があるため効率が悪いことが知られている。 提案手法では構造の最適化がマルコフ過程における状態遷移の最適化として扱えるので可微分になっている。これにより、勾配降下法で直接的に構造を最適化できるようになり、上記問題を解消した。

結果

ImageNetデータセットを用いて、ResNetとMobileNetV2に対して枝刈り手法のSoTAを達成した。 実験時の要求FLOPsは3G ~ 40Mの範囲で幅広く比較した。

その他(なぜ通ったか?等)