#344
summarized by : Naoya Chiba
Neural Radiance Transfer Fields for Relightable Novel-View Synthesis with Global Illumination

どんな論文か?

シーンリライティングに対応したneural precomputed radiance transfer (PRT)による新規視点画像生成手法の提案。ライティングが未知の多視点画像からシーンのジオメトリとグローバル照明,反射特性のモデルBRDFでシーンを記述・最適化し,任意のライティングに対するリライティング画像の生成を実現する.
placeholder

新規性

PRTをニューラルネットワークでモデル化しシーンリライティングに応用した点が新規.ジオメトリは予め再構成しておく.シーンのライトマップの各画素に対応した投影結果(関節反射成分を含む)であるOLATのレンダリングを用いることでオーバーフィッティングを避けてPRTを学習できる.

結果

合成データとDTUデータセットで検証,複雑なライトパスをモデル化できており,再構成された画像がフォトリアルなシーンの再現となっていることを確認した.すべての最適化にはシーン当たり54時間かかる.ジオメトリの同時最適化は今後の課題.

その他(なぜ通ったか?等)