#309
summarized by : Naoya Chiba
NeRF for Outdoor Scene Relighting

どんな論文か?

NeRFをベースに球面調和関数で記述された環境光条件によるリライティングに対応したNeRF-OSRの提案.NeRFが単独のネットワークで学習していたRadiance FieldをDensityとShadowとAlbedoに分離しレンダリング,入力画像と比較することでロス関数を計算・最適化する.
placeholder

新規性

NeRFではまとめてモデル化されていたRadiance Fieldをリライティングに必要な要素に分解し,シーンごとの環境光を含めそれぞれを学習可能にした点が新規.レンダリングのモデルに必要な法線は密度から計算することで得られることを利用・シャドウを扱うためのモデルを組み込む工夫を導入している.

結果

屋外シーンのリライティングのための大きなベンチマークデータセットを提供,これは異なる時間(ライティング)の多視点の画像とカラーキャリブレーションされたライティング,COLMAPによる再構成からなる.提案したデータセットと既存のPhotoTourismデータセットのトレビの泉で評価しフォトリアルな再投影・新規視点画像生成を実現.

その他(なぜ通ったか?等)