#27
summarized by : K. Nakata
Improving Low-Precision Network Quantization via Bin Regularization

どんな論文か?

低ビットで高い認識精度を実現するため、量子化の離散値(bin)に着目した正則化アルゴリズム(bin regularization)を提案。量子化誤差と重みの分散の値を正則化項として誤差関数に加算し最適化を行うことで、重みの各値を近傍の離散値に近づけ、各binの尖度が高い状態を実現できている。
placeholder

新規性

量子化誤差だけでなく、quantization binの尖度も考慮し、重みの分散の値を正則化項に付与して最適化を行っている点

結果

従来手法(LSQ: Learned Step size Quantization)で2ビットに量子化したMobileNetV2/MobileNetV3-Smallよりもそれぞれ3.9%/4.9% ImageNetのtop-1 accuracyを改善している。

その他(なぜ通ったか?等)

量子化幅やクリップ値を学習で最適化する従来手法(LSQ, TQT)の正則化に適用可能な点や他の正則化手法と比較して認識精度を改善できている点は良い。