- …
- …
#216
summarized by : Tong Zheng
どんな論文か？
Video Frame Interpolation。Fps数が低いビデオを処理してFpsを高める（12FPSー＞24FPSなど）。
新規性
従来手法はGround Truthと比較しモデル重みを修正する。本手法はビデオの連続性を利用し、生成した中間Frameを既存Frameと比較してモデル重みを修正。なお、Video画像情報だけではなく、Optical Flowの情報も利用した。画像InterpolationとOptical Flow両方を一個のCNNで学習することで、Optical Flowの情報を取り入れたVFIを実現。
結果
GoPro, Adobe240, X4K1000FPS, Vimeo-90K, UCF101, DAVIS and SNU-FILMでSOTA。Interpolationを行った後のビデオ画質がかなり綺麗。
その他（なぜ通ったか？等）
Bayesian OptimizationをVideo Frame Interpolationに初めて応用した。
https://github.com/Oceanlib/DBVI
- …
- …