#178
summarized by : Hiroki Okawa
Internal Video Inpainting by Implicit Long-Range Propagation

どんな論文か?

動画のInpainting(修復:特に、動画中の特定のオブジェクトを削除して背景を穴埋めする技術)についての論文。学習済みのモデルを用いることなく、オプティカルフローを利用することもなく動画内の情報から学習することでinpaintingを行う。通常は動画全てのフレームに対してマスクを指定するが、本論文では4K画像において単一フレームのみのマスクから全フレームのマスク予測と修復を行った。
placeholder

新規性

Internal learning strategyによるフレームワークとanti-ambiguity, stabilizationのための正規化を用いることで、安定性と精度を同時に向上させた。また、高画質(4K)への対応の他、1枚から数枚のフレームのマスク指定のみからオブジェクト抽出や、古い映画やアニメと言った異なるドメインへの拡張も行った。

結果

定性評価ではユーザーによる投票を、定量評価ではPSNR,SSIM,LPIPSを用い、DNNに基づいた外部学習手法・オプティカルフローに基づいた手法・本手法に代表される内部学習手法の三つを比較している。定性評価では優位な差をつけて上回っている。定量評価では精度でオプティカルフローにやや劣るものの不正なマスクを指定された際の頑強性が高いことを示した。

その他(なぜ通ったか?等)

https://tengfei-wang.github.io/Implicit-Internal-Video-Inpainting/ https://github.com/Tengfei-Wang/Implicit-Internal-Video-Inpainting Deep Internal Learningの手法を利用した戦略と、精度・頑強性のための正規化テクニック及び精度評価。