- …
- …
#143
summarized by : K. Nakata
どんな論文か？
量子化誤差を観測し、誤差の少ない丸め込み(DASR: Distance-Aware Soft Rounding)を行う量子化器(DAQ: Distance-Aware Quantizer)を提案した論文。また、量子化器内に温度係数の調整器を導入し、学習時の量子化演算の近似の最適化と学習の安定性の改善を行っている。
新規性
量子化演算を微分可能なsigmoidで近似する際に温度係数を挿入し、丸め込み誤差を考慮した係数に設定することで近似前の理想的な量子化演算からの乖離を抑えつつ、勾配消失問題を回避し、学習の安定性を上げている。
結果
ResNet-34の重みとアクティベーションを1~3ビットに量子化し、従来手法よりもImageNetの精度が高いことを確認している(例えば、2ビットでは71.0%を達成しており、従来手法よりも0.4~1.2ポイント精度を改善している)。
その他（なぜ通ったか？等）
Project page (https://cvlab.yonsei.ac.kr/projects/DAQ)
PyTorch版の実装 (https://github.com/cvlab-yonsei/DAQ)
- …
- …