- …
- …
#336
summarized by : Sou Uchida
どんな論文か？
動画内のオブジェクトを他の動画中に挿入する手法の提案．各フレームで挿入したいオブジェクト，挿入したい位置，オブジェクトのマスク(BB)を基に2つのフレームをブレンドし，生成器に通して尤もらしい出力を目指す．正解が存在しないため，上記をRealペアとし，その他に2パターンのFakeペアを用意して敵対的学習を行う．これにに前後のフレーム情報を考慮する項を追加することで動画に適用できるようにする．
新規性
画像中にオブジェクトを挿入する研究は以前から存在するが，セマンティックマップを用いるものや完全なInpaintingとして解くものほとんどであった．提案法では，セマンティックマップを用いず，ブレンドした画像を用いるConditional Inpaintingとすることでより自然な出力を得る．また，動画への拡張はタスクそのものが新しい．
結果
Adobe Premiere CCのブレンド機能，セマンティックセグメンテーションベースの手法で生成した動画に比べて，提案法の出力は学習済み物体検出・セグメンテーションモデルが高い精度を発揮できる．したがって，自然な出力であると結論づけている．
その他（なぜ通ったか？等）
実際に生成された動画は次で確認できる: https://www.youtube.com/watch?v=-lL8zPYYNV4&feature=youtu.be
- …
- …