#607
summarized by : Teppei Kurita
Retina-Like Visual Image Reconstruction via Spiking Neural Model

どんな論文か?

人間の視覚におけるサンプリングは現在のデジタルカメラの仕組みとは全く異なっていて、フレームという概念がない。そこで人間の網膜を模倣しフレームベースではなく連続時間のスパイク(バイナリ)信号で画像を記録するカメラを用い、自然画像を再構成する手法を提案している。
placeholder

新規性

提案する3層NNは任意のサンプリング時刻で画像を再構成することができる。また、ニューロンの状態を段階的に区別する抽出モデルを設けて、性能を高めているのがキモ。更にこのスパイクカメラで40000Hzのフレームレートで取得したデータセット(8シーケンス)を公開するとのこと。

結果

この独自データセットで従来手法と比較して定量的、定性的な優位性を確認。

その他(なぜ通ったか?等)

特殊な信号値を上手く活用するための処理を提案している。同じ非同期型バイナリ出力のセンサーとしてDynamic Vision Sensor(DVS)があるが、DVSは輝度値が変化したイベントしか記録しない。こちらは静止シーンであっても信号値として記録される。