- …
- …
#805
summarized by : rindybell
どんな論文か？
動画修復において、画像毎に修復するアプローチはモーションの情報を捉えられず、異常な出力を引き起こすことがある。
そこで、時間的一貫性を考慮する手法はあるものの、動画修復のケースに適したものは少ない。
そこで本論文では、時間的一貫性を考慮し、フィードフォワード型の動画修復法を提案する。
提案法は、現フレームと前後フレーム、さらに直前に修復したフレームを用いて、現フレームの修復を行う。
新規性
CNNを用いて、エンコーダデコーダ的に、修復された画像を予測する。
上記設定にて、下記3種の組み合わせロス関数を提案したことが新規性。
1. 再構成ロス：正解フレームと、システムによるフレーム間のロス
2. Flowロス：フロー情報の予測誤差。Flownet2による出力を正解データとして用いる。
2. Warpingロス：生成した連続する2フレームの滑らかさを測る誤差。
結果
時間的一貫性の、目的関数に項を導入したことにより、評価データSintel framesにて、warping errorsが従来法0.0343→提案法0.0015へと大きく改善。
ビデオ品質に対する評価指標FIDについても、評価データDAVIS datasetにて、従来法0.0053から0.0046へと改善。
ただし、ビデオにocclusionがある時、彩度について不自然な結果が見られた。
その他（なぜ通ったか？等）
- …
- …