#217
summarized by : Tomoro Tokusumi
Training Quantized Neural Networks With a Full-Precision Auxiliary Module

どんな論文か?

既存の量子化手法をより効率的に学習させる手法を提案した。 まず推論用にベースの量子化モデルを用意する。 学習時に単精度の重みをもつ外部モジュールを接続し、混合精度のネットワークを構築する。 そのネットワークを学習させると量子化される部分も高精度な逆誤差伝播が可能になる。 推論時には量子化されたベースのネットワークだけ使用する。 提案手法の効果を画像分類と物体検出で評価した。
placeholder

新規性

- 既存の量子化手法(DoReFa-Net, LQ-Net, FQN)などと組み合わせられる。 - 類似手法であるknowledge distilation (KD) を応用した量子化に比べて、外部モジュールしか要しないのでメモリ効率がよく、1つしかロスが増加しないためハイパーパラメータが少ない。 - 物体検出で、ほぼ性能劣化のない4bit量子化に初めて成功した

結果

CIFAR-100とImageNetを用いて画像分類タスクの性能を評価したところ、KDよりも性能劣化が低かった。 COCOデータセットで物体検出の性能を評価した結果、4bit (int4)に量子化したネットワークでSoTA (FQN) よりも性能劣化が低く、量子化していないネットワークの結果と同様な性能(~ 1ポイント)を示した。

その他(なぜ通ったか?等)