#533
summarized by : Yuma Ochi
Event-Based Video Reconstruction via Potential-Assisted Spiking Neural Network

どんな論文か?

画像再構成というタスクを対象としている。これは、輝度の変化を検知するイベントカメラのデータから、普通のカメラで撮影したような画像に変換するものである。本論文では、SNNを活用したシンプルなCNNモデルであるEVSNNに加えて、EVSNNがより広い時間的な情報を獲得できるように、Adaptive Membrane Potential(AMP)機構を導入したPA-EVSNNモデルも提案した。
placeholder

新規性

世界で初めて、Image ReconstructionのタスクをSNNを用いてアプローチした。更に、従来の深層学習モデルと同等の性能を持ちながら20倍近い計算効率性を達成した。

結果

4つのImage Reconstructionタスクにおいて、従来のANNモデル、EVSNNとPA-EVSNNを比較した。ある時間に達したら新しいイベントを与えず、モデルがどれだけ時間情報を保持できているかをテストした。定量的なスコアの比較によって従来のLSTM機構のANNモデルと同様の時間情報を保持できていることがわかった。更に、ANNと比較して5〜20倍の計算効率性も確認できた。

その他(なぜ通ったか?等)