- …
- …
#173
summarized by : Yuma Ochi
どんな論文か？
Spiking Neural Network(SNN)における、学習しやすい膜電位の分布に調整するようなMPD-Lossという損失関数を提案。SNNは、分布と勾配の偏り、本来の勾配とSurrogate Gradientsとの誤差(量子化誤差）が大きいという3つの要因による学習の困難性が課題だった。MPD-Lossはこれら3つに直接的に対処する事が可能。
新規性
量子化誤差を小さくする手法の提案はこれが世界初。さらに、MPD-Lossを使うことによって、他の手法（バッチ正則化）を使う場合よりも収束が速く性能が高いことを示した。
結果
MPD-Lossを使った場合と使わなかった場合の1層目の分布を見て、学習が進むごとに学習を困難にさせる3つの要因を解決することを確認した。そして、MPD-LossありでResNetを学習させたところ、他の従来手法と比較しても少ないタイムスタンプ（2~6)で複数タスクにおいてSoTAを達成した。
その他（なぜ通ったか？等）
- …
- …