#86
summarized by : yasud
Zoom-In-To-Check: Boosting Video Interpolation via Instance-Level Discrimination

どんな論文か?

フレーム間の補完を行う軽量の2段階ネットワークを提案している。物体レベルでの高解像度化に着目しており、高解像度画像で学習を行う得られる特徴量を使って、低解像度のフレーム補完を綺麗に行うなどの工夫がなされている。
placeholder

新規性

フレーム補完タスクについて、これまでのflow-basedな手法ではオクルージョンの推定に難があり、kernel-basedな手法ではメモリや計算量に難があった。よって全体の画像ではなく、物体検出に用いられるRoI Alignの手法を用いて物体ごとの高解像度化を行うことで、SepConv[ICCV2017]に対して、パラメータを21%、計算時間78%にまで減らしている。

結果

DVF(flow-warping), SepConv(kernel-based),Super SloMo(cascaded optical flow)と、UCF101, CityScapesのデータセットで検証を行っている。 指標はSSIMであり、定量的・定性的にSoTAだと位置付けている。ただし、動きが大きくボケている場合などにrefinementにおいて消してしまうなどの問題を報告している。

その他(なぜ通ったか?等)