- …
- …
#479
summarized by : Ho Ching Chiu
どんな論文か?
顔面変換問題を二枚の画像でtarget attribute+source identityと設定。
U-Netをbackboneとしてtargetのattributeを多層に抽出。identity encoderは訓練済顔面認識モデルを使用。
両方をStyleGANのように生成器中間層のchannelごとの非正規化に使う。注意により両方どのようにブレンドするかadaptiveに学習する。
新規性
以上全部 + 更にself-superviseでsourceとtargetを同一画像にすることで何がOcclusionか学習。
結果
pose, lighting, expressionなどtarget attributeを保ったまま、ソースidentityを継承したリアル画像生成に成功。Occlusionにもよく対応している。人間評価、定量評価とも既存のFaceSwap, DeepFake, IPGANなどよりよい。
その他(なぜ通ったか?等)
- …
- …