#524
summarized by : Yuma Ochi
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation

どんな論文か?

Spiking Neural Network(SNN)を学習するための新しいスパイク表現DSR法を提案した。DSR法を用いることで、ANNに匹敵する高い精度を保ちながら、従来のSurrogate Gradient法が逆伝播に用いている微分可能でない関数を扱う必要がなくなる。本研究では、更に量子化誤差を低減する方法についても分析されていた。
placeholder

新規性

各層ごとにスパイク表現を求め、微分可能な写像を構成することで、勾配損失、爆発を回避した逆伝播アルゴリズムを提案した。従来使われていたSG法の時間的なボトルネックとなっていた、時間を媒介しない誤差逆伝播を必要とせず、より短時間で学習が可能であると期待できる。

結果

CIFAR-10, CIFAR-100, ImageNet, DVS-CIFAR-10データセットにおいて、より少ないタイムステップ数で高い性能をマークした。特に、CIFAR-10では、他の手法よりも5%以上高い精度だった。別の実験では、タイムステップ数を減らしても精度があまり落ちないこと、より深いモデルで高い性能を発揮することがわかった。

その他(なぜ通ったか?等)