#263
summarized by : Kiro Otsu
Efficient Neural Network Compression

どんな論文か?

DNN全体の低ランク近似を効率的に求める方法の提案。これまでのSVD(固有値分解)ベースのネットワーク圧縮(パラメータを削減して計算コストを下げるタスク)は、レイヤーごとに低ランク近似をしていたが、本手法ではネットワーク全体を考慮する。モデルの精度と複雑性の関係を表す新しい基準としてPCA energy-based MetricとMeasurement-based Metricを利用している。
placeholder

新規性

レイヤーごとではなくネットワーク全体に対し低ランク近似を適用できること。

結果

VGG16ではFLOPsを25%削減し、精度が0.7%向上した。また、これまで8GPUで4時間かかっていたものが1CPUで3分で完了するようになった。

その他(なぜ通ったか?等)