- …
- …
#402
summarized by : Tong Zheng
新規性
3枚の連続ビデオ画像のお互いのoptical flowを求めて、画像の特徴とのAttentionを計算。本論文のAttentionはDeformable Attentionで、optical flowから求めた変型場(Deformable offset)の情報を入れてoptical flowと画像のAttentionを計算する。その出力をdecoder networkに入力して最終結果を得る。
結果
GoPro, DVD, and BSD datasetsでSOTAを達成。
その他(なぜ通ったか?等)
ビデオのoptical flowはそもそも変形場に近いもので、その特性を上手く利用してDeformable Attentionに提案した。
- …
- …