- …
- …
#423
summarized by : 角田良太朗
どんな論文か？
Photometric stereoにおいてNeRFに着想を得て、MLPを用いてalbedo,specularity,normal,shadowを導出する。NeRFと異なりカメラ位置は固定で光源位置が変わるので、それをRGB画像と共にモデルに入力する。
新規性
既存手法は物理的な制約を十分に組み込めていないと主張し、specularityの導出に際して、推論した法線マップからspecular basisを導出し、それの線形和でspecularityを表現する。またdepthもMLPから導出し、そこから影領域を明示的に求めてそこをレンダリング計算から除外する。
結果
法線マップやBRDFの補助なしにself-supervisedに学習可能かつ、モデルは1.1Mと軽量で６分程で最適化が可能。
その他（なぜ通ったか？等）
https://github.com/junxuan-li/Neural-Reflectance-PS
- …
- …