#402
summarized by : Tong Zheng
Spatio-Temporal Deformable Attention Network for Video Deblurring

どんな論文か?

Video Deblurring(ビデオ動画のぼかし除去)。ぼかしたビデオ画像をシャープにする手法。 本論文では3枚あるいは5枚のビデオ画像を入力し、一枚のぼかし除去した画像を出力。
placeholder

新規性

3枚の連続ビデオ画像のお互いのoptical flowを求めて、画像の特徴とのAttentionを計算。本論文のAttentionはDeformable Attentionで、optical flowから求めた変型場(Deformable offset)の情報を入れてoptical flowと画像のAttentionを計算する。その出力をdecoder networkに入力して最終結果を得る。

結果

GoPro, DVD, and BSD datasetsでSOTAを達成。

その他(なぜ通ったか?等)

ビデオのoptical flowはそもそも変形場に近いもので、その特性を上手く利用してDeformable Attentionに提案した。