- …
- …
#261
summarized by : Naoya Chiba
どんな論文か？
2Dのセマンティックマスクに従った画像がレンダリングされるようなNeRFを学習するための手法Sem2NeRFの提案．2Dから一貫した3Dを生成するタスクは一般に難しいが，NeRFによるモデルとパッチベースでの学習を用いることでGANの枠組みで学習できるようにした．
新規性
2DのセマンティックマスクからNeRFを再構成するタスクをGANで学習・入力されたセマンティックマスクのパッチに従ったNeRFに対応する潜在ベクトルを推定するというアプローチをとる．グローバルにGANを適用すると計算コストが大きく局所的な変化に鋭敏にならないため，パッチベースで光線をサンプリングして画像を生成・評価する．
結果
顔画像のCelebAMask-HQ，猫の画像のCatMaskでpSp，SofGAN，pix2pixHDをベースライン手法として比較・検証．提案法によりセマンティックマスクに従った顔画像が生成され，さらにセマンティックマスクを編集することで対応した変化をNeRFにもたらすことができる．
その他（なぜ通ったか？等）
- …
- …