#101
summarized by : Murakami
PS-NeRF: Neural Inverse Rendering for Multi-View Photometric Stereo

どんな論文か?

未知の光源位置から照らされた非ランバート物体を撮影した多視点画像が与えられた時、マルチビューフォトメトリックステレオ(MVPS)から表面法線マップを推定し、NeRFにおける密度の勾配から得られる法線を正則化。次に法線やBRDF、照明を共同で最適化。入力の画像が少数であっても高品質な形状再構成を実現。
placeholder

新規性

NeRFを用いたMVPSの手法は存在するが、表面と光方向を分離することが出来ないが、提案手法はこの問題に対処。

結果

既存のMVPS、ニューラルレンダリング手法(UNISURF, NeRFactor, NeRF等)と比較して正確で高品質な形状再構成。

その他(なぜ通ったか?等)

コードは公開:https://ywq.github.io/psnerf/  MVPSを利用するにはデータセットのハードルは高い。また少数画像でも再構成できることを主張しているが、正解のカメラポーズが必要である。論文で利用されている5枚の画像ではCOLMAPからカメラポーズ推定できないと思われる。