- …
- …
#86
summarized by : yasud
どんな論文か?
フレーム間の補完を行う軽量の2段階ネットワークを提案している。物体レベルでの高解像度化に着目しており、高解像度画像で学習を行う得られる特徴量を使って、低解像度のフレーム補完を綺麗に行うなどの工夫がなされている。
新規性
フレーム補完タスクについて、これまでのflow-basedな手法ではオクルージョンの推定に難があり、kernel-basedな手法ではメモリや計算量に難があった。よって全体の画像ではなく、物体検出に用いられるRoI Alignの手法を用いて物体ごとの高解像度化を行うことで、SepConv[ICCV2017]に対して、パラメータを21%、計算時間78%にまで減らしている。
結果
DVF(flow-warping), SepConv(kernel-based),Super SloMo(cascaded optical flow)と、UCF101, CityScapesのデータセットで検証を行っている。
指標はSSIMであり、定量的・定性的にSoTAだと位置付けている。ただし、動きが大きくボケている場合などにrefinementにおいて消してしまうなどの問題を報告している。
その他(なぜ通ったか?等)
- …
- …