#2
summarized by : 綱島 秀樹
PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer

どんな論文か?

顔のセグメンテーションなしに大きくポーズや表情にロバストであるPSGANを提案した。影、部分的メイクアップ、ポーズや表情のロバストさを初めて同時に達成した。メイクアップを抽出するMDNetと転移させるモジュールのAMM、メインブランチのMANetを提案している。要は特徴をAttention mapを使ってAdaINみたいに転移させている。また、ポーズと表情が変化する新しいデータセットを提案した。
placeholder

新規性

・顔のセグメンテーションマスクを使わずに影、ポーズ表情不変性、部分メイクアップを同時に達成した点。 ・ポーズと表情が変化するデータセットを提案した点

結果

・表情やポーズが大きく変化するsourceとreferenceに対しても適切にメイクアップ可能となった ・2つのreferenceを用いたモーフィングも可能

その他(なぜ通ったか?等)

ポーズ、表情不変性という今まで成し遂げられていなかったことを達成したことがとても大きい。また、適切なデータセットを作成して評価したことも重要。