#183
summarized by : Masanori YANO
XVFI: eXtreme Video Frame Interpolation

どんな論文か?

動画フレームの補間を行うタスクのための4K解像度かつ1,000fpsの動画データセットと、オプティカルフローの推定を活用してマルチスケールで補間を行うネットワーク構造を提案した論文。
placeholder

新規性

4K解像度かつ1,000fpsで5秒間の動画175個を撮影し、オクルージョンとオプティカルフローをもとに教師データのX-TRAINとテストデータのX-TESTを選定したX4K1000FPSデータセットを構築した。加えて、共通の重みを使用し、低解像度から高解像度へと順番にオプティカルフローを推定してから動画フレームの補間を行うXVFI-Netを提案した。

結果

構築したX4K1000FPSデータセットとCVPR 2017採択の「Deep Video Deblurring for Hand-held Cameras」のデータセットで評価を行い、推論速度は最速ではないものの品質では従来手法を上回る結果。また、Vimeo90Kデータセットによる評価でも、推論速度と品質のバランスが取れた結果。

その他(なぜ通ったか?等)

新たなデータセットを構築し、提案手法で意義を示したため通ったと考えられる。データセットとPyTorch実装( https://github.com/JihyongOh/XVFI )が公開されている。