#789
summarized by : Masaki Taniguchi
Depth-Aware Video Frame Interpolation

どんな論文か?

映像のフレーム間補完タスクに取り組んでいる論文。オプティカルフローをそのまま利用するのではなく、推定したデプスマップを使って物体の前後関係を検出し、深度を考慮した中間データ(Projected Flow)を作成し、使用している。いくつかのデータセットにおいてSoTAを達成。
placeholder

新規性

実際に中間フレームを予測するモデルでは、入力としてデプスマップや文脈特徴、局所補間カーネル、元画像などを受け取るが、Encoder-Decoderネットワークで予測した各中間データをそのまま受け取るのではなく、提案手法のProjected Flowに合わせて変形してから入力している。

結果

Middlebury、Middlebury、UCF101、HDの各データセットにおいてSoTAを達成。また、実行速度やパラメータ数においても既存手法より優れている。

その他(なぜ通ったか?等)