- …
- …
#612
summarized by : Eisuke Yamagata
どんな論文か？
DNNはしばしばたくさんのパラメータを含み，それにより大量のメモリを消費する傾向にある．圧縮する方法の一つとしてnetwork quantizationが挙げられるが，大量の学習データと計算コストが必要となる．それらが確保できないようなアプリケーションのために，data-freeかつtraining-freeな圧縮方法が求められる．
新規性
Quantizationに使用するparametric non-uniform gridを新たに提案．これによって従来手法に比べ，重みをクラスタリングする際，より重要な重みにフォーカスできる．また，gridに関するパラメータ（ビット幅と量子化スケール）をdata-freeで最適化できるように設計している．
結果
Data-freeかつtraining-freeな手法の中ではSoTA，そうでない手法の中でもcomparativeな結果．
その他（なぜ通ったか？等）
メモリ不足という非常に現実的な問題に対し，常にdataとtrainingが可能ではないという現実的な仮定のもと圧縮手法を提案している．Data-free, training-freeでない手法ともcomparativeであるという非常に高いパフォーマンスが評価されたと考えられる．
- …
- …