- …
- …
#354
summarized by : Naoya Chiba
どんな論文か？
ボリュームレンダリングを用いる3D GAN手法SURF-GANの提案．GANに入力するノイズベクトルに対応したRadiance Fieldを出力するためSURFモジュールを提案，さらに提案した3D GANを用いてStyleGANの潜在ベクトルをカメラ姿勢について制御可能にすることで，
StyleGANと合わせて用いることでセマンティックな編集を可能にした．
新規性
NeRFではMLPが用いられる各三次元点でのRadiance Fieldを，学習可能な直交基底ベクトル空間上でのノイズとして解釈できるパラメータで変調，スキップ接続とSIRENを用いたSURFモジュールでモデル化．SURF-GANによって視点によらず一貫したシーンを生成できることを利用し，学習済みのStyleGANの潜在ベクトルカメラ姿勢に関するパラメータを制御できるようなマッピングを学習する．
結果
CelebAデータセットとFFHQデータセットで検証し，pi-GANとほぼ同じ実験設定で一貫したシーンを生成できる．GAN Inversionによる実画像からの新規視点画像生成においても一貫したそれらしい画像が生成できた．さらにStyleGANで，ポーズを指定した条件での指定属性の人物画像生成も達成．
その他（なぜ通ったか？等）
- …
- …