- …
- …
#37
summarized by : Naoya Chiba
どんな論文か？
GANとNeRFを組み合わせて完全にカメラ姿勢が未知な（前処理として大まかなアラインメントもしない）問題設定でRadiance Fieldとカメラ姿勢を同時に最適化する手法を提案．はじめにGANを用いてこれらの粗い推定を行った後，Photometric Lossを用いて精緻化する．これにより粗い推定の時点で画像が得られた視点だけでなくあらゆる視点を考慮することができる．
新規性
NeRFのカメラ姿勢推定にGANの枠組みを取り入れた点が新規．NeRFをGeneratorとして入力されたカメラ姿勢に対応する画像を出力するよう学習すると同時に，生成された画像からパッチ画像を選択してデータセットと比較することでAdversatial Lossを与える．さらに生成された画像から姿勢を推定するネットワークを学習・真のシーン画像が撮影されたカメラ姿勢を最適化する．
結果
事前のアラインメント無しでカメラ姿勢とNeRFの最適化ができ，新規視点画像の生成を実現した．シーンによってはアラインメントを行う既存手法よりも優れる場合もあった．
その他（なぜ通ったか？等）
- …
- …