#479
summarized by : Ho Ching Chiu
Advancing High Fidelity Identity Swapping for Forgery Detection

どんな論文か?

顔面変換問題を二枚の画像でtarget attribute+source identityと設定。 U-Netをbackboneとしてtargetのattributeを多層に抽出。identity encoderは訓練済顔面認識モデルを使用。 両方をStyleGANのように生成器中間層のchannelごとの非正規化に使う。注意により両方どのようにブレンドするかadaptiveに学習する。
placeholder

新規性

以上全部 + 更にself-superviseでsourceとtargetを同一画像にすることで何がOcclusionか学習。

結果

pose, lighting, expressionなどtarget attributeを保ったまま、ソースidentityを継承したリアル画像生成に成功。Occlusionにもよく対応している。人間評価、定量評価とも既存のFaceSwap, DeepFake, IPGANなどよりよい。

その他(なぜ通ったか?等)