- …
- …
#890
summarized by : Naoya Chiba
どんな論文か？
リソースが限られた環境でDNNを用いるために量子化して低ビットなネットワークを構築する．一般にはビット数を小さくすると性能が劇的に低下する．提案するQuantization-interval-learning (QIL)によって，提案法によりネットワークの精度を維持したまま32ビットから4ビットにできた．この手法は学習用データセットを用いずにネットワークを低ビットに量子化することが可能である．
新規性
量子化間隔を学習できるQuantizerを導入し，ネットワークの重みと同時に学習させる．このQuantizerは同時にPruningとclippingも含め設計されているため，その層で注目すべき値の範囲を量子化することができる．学習済みモデルに対して量子化間隔だけを学習する事もでき，その場合でも良好な精度を達成している．
結果
ImageNetで学習したResNet-18，ResNet-34，AlexNetに対して低ビットに量子化した際の精度を評価．すべての指標でSOTAを達成している．CIFAR-100を用いて，異種クラスのサンプルを用いて量子化を学習した場合についても評価しており，評価するデータセットとは異種のデータセットを用いてネットワークの量子化が可能であることを示した．
その他（なぜ通ったか？等）
- …
- …