#657
summarized by : Yutaro Oguri
Turning Frequency to Resolution: Video Super-Resolution via Event Cameras

どんな論文か?

動画の超解像(以下VSR)タスクにおける「連続したフレーム間におけるピクセルの変位が小さい方が良い結果が出る」という観察から着想し、高いフレームレート等が特徴であるEvent Cameraを用いた新たな手法(E-VSR)を提案した。
placeholder

新規性

Event Cameraの高いフレームレートを活かし、従来の超解像のモジュールに加えて、非同期な入力を補完して扱うためのモジュール(Event-based Asynchronous Interpolation)を提案した。それらを組み合わせた超解像のモデルを"E-VSR"として提案した。

結果

大幅な数値改善は無いものの、同タスクではSoTAとなった。Open Datasetの少なさ故、シミュレータで生成したデータでも実験を行ったが、そちらでも同様の結果となった。数値的な改善だけでなく、Event/RGBセンサをエッジデバイスで活用するという方向性にも新たな可能性が見いだせた。

その他(なぜ通ったか?等)

従来の超解像タスクにおけるChallengeと、活用が期待されるニューロモルフィックなセンサであるEvent Cameraの特性をうまく噛み合わせて編み出された手法であったため。 Event Cameraはまだデータセットが少なくて苦労していそうな記述があった。