#562
summarized by : Naoya Chiba
NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis

どんな論文か?

NeRFを任意のライティング・一回の相互反射に対応できるように拡張した手法の提案.ナイーブにライティングに対応すると計算コストが莫大になってしまうため,空間中のVisibility Fieldsを経由した光線の伝搬としてMLPでモデル化,学習することで現実的な計算コストで任意証明・視点画像を生成できる.
placeholder

新規性

ライティング・間接反射を考慮したモデルで任意視点画像生成を行った点が新規.ライティングは環境マップとして直接反射成分を出力,さらにVisibility Fieldsによる間接反射の近似によって各光線に対応した間接反射成分を予測,直接反射成分と足し合わせる.これらをそれぞれMLPでモデル化し多視点画像からそれぞれシーンに合わせて学習する.

結果

NLT(ブルートフォースで全光線について考える)以外の手法と比べると様々な照明条件に対応できる手法であることを述べた上で,そのような実験設定で確かに影や反射をうまく再現できる手法であることを示し,NLTと比較してもより低い計算コストで同様か優れた新規視点画像を生成できた.

その他(なぜ通ったか?等)