#412
summarized by : Ho Ching Chiu
StyleRig: Rigging StyleGAN for 3D Control Over Portrait Images

どんな論文か?

顔面特徴(表情、光源など)をパラメータ(p)で表現するフェースモデルを導入する。まずは画像のlatent code wからpへ変換するネットを訓練。ソース画像のlatent code (v)からp_vを生成し、target画像のcode wとをRigNetに放り込んで、dを生成する。StyleGAN(d + w)で指定したソース画像の特徴を持ったtarget画像を生成できる。
placeholder

新規性

パラメトリックフェースモデルと二枚の画像との二重cycle consistencyを使った訓練。Pretrained StyleGANをそのままこの研究を載せて使える。ただしデータセットのスペースカバー不足などのバイアスを当然継承する。

結果

StyleGANの画像の元のwを動かすことで、facial shape, skin reflectance, facial expression, scene illumination, head rotationを個別に調整することができる

その他(なぜ通ったか?等)