- …
- …
#884
summarized by : Anonymous
どんな論文か？
顔の動画像を任意の表情に変えるフレームワークとして，PuppeteerGANを提案．
本論ではソース画像とそのパーツごとのセグメンテーションマスク，表情元の画像とそのランドマーク情報を入力し，まずセグメンテーションマスクをターゲットの表情に変換する．次に変換したセグメンテーションマスクと元画像（アイデンティティの抽出），表情のランドマーク情報を入力し，写実化する．
新規性
元画像のアイデンティティ情報を保つためにセググメンテーションマスクを利用．さらに，それを変形させ，任意の表情に変え，カラリーゼーションするアプローチを提案．
さらにCross-domainの設定でも他手法より優位性があることを示した．
結果
データセットにはVoxCelebとCelebMask-HQ，比較手法にはPix2PIXHDやX2Face，VId2Vidなどと比較，評価手法にはSSIM，PSNR，FID，CSIM，MSEを用いている．
他手法よりCSIMやMSEではSOTAの結果となっており，その他の評価手法では二番点ぐらいであるが，実行速度が速いことから優位性を示している．
その他（なぜ通ったか？等）
- …
- …