- …
- …
#24
summarized by : Naoya Chiba
どんな論文か？
NeRFを少数の視点での画像から学習するために，学習済みモデルによるセマンティック予測を用いた制約の元で最適化する．これによりあらゆる視点から見たときにその物体が何であるかについての特徴量が大きく変化しないように学習できるため，未知の視点からの画像がもっともらしく再構成される．
新規性
Few-Shot設定でのNeRFによる新規視点画像生成のために学習済みモデルの出力特徴量を用いるというアイデアが新規．学習済みのモデルとしてCLIPのViTを用いている．セマンティクスによる教師信号は未知視点についても得られるため，データセットに含まれていない視点についてもレンダリングしてロスを与える．
結果
少数視点で良好な新規視点画像生成を実現した．さらにPixelNeRFとも組み合わせ，指標によっては性能が向上することを示した．予備実験として事前学習済みモデルの特徴量がシーン変化に伴って変化することを確かめており，手法の妥当性が示されている．
その他（なぜ通ったか？等）
- …
- …