#384
summarized by : Naoya Chiba
NeRFReN: Neural Radiance Fields With Reflections

どんな論文か?

NeRFで光線の反射を扱えるように拡張したNeRFReNの提案.放射成分と反射成分の和が観測されているというシンプルなモデルで,それぞれのRadiance Fieldを別のNeRFでモデル化し足し合わせる.うまく制約を与えて最適化することで反射光を含むシーンについて各成分を分離し再構成.さらに少数視点でミラー領域のマスクを与えることで,より複雑なシーンにも対応.
placeholder

新規性

放射成分と反射成分をそれぞれNeRFでモデル化し足し合わせることで反射光を含むシーンをNeRFで扱えるようにしたことが新規.このモデルだけではうまく分離できないため,幾何形状に関する制約(反射する物体は平面であるという仮定)とウォームアップによりうまく学習できるように設計.

結果

ガラスや鏡を含むRFFRデータセットを準備しいくつかの指標(RSNR,SSIM,LPIPS)で評価.Ablation Studyとして提案法の各コンポーネントが有効であることを確認.反射成分と放射成分が分離しているため,それぞれ消したり置き換えたりできる.

その他(なぜ通ったか?等)