#102
summarized by : Anonymous
RC-MVSNet: Unsupervised Multi-View Stereo with Neural Rendering

どんな論文か?

Neural renderingによって生成した画像とdepth mapを学習に使用する教師なしのMulti-view Stereoネットワークを提案。画像パッチ間のPhotometricな類似度を使用する従来手法に比べて、カメラ間で物体の見えが大きく異なる場合(例:鏡面反射やocclusion)でも正確な教師データを作成できる。
placeholder

新規性

NeRFによって生成したRGB画像とdepth mapの両方の教師データとしてMVSネットワークの訓練に利用している点。NeRFによるdepth mapの推定がより正確になるようGaussian mixture samplingという新しいボクセルのサンプリング法を提案している。

結果

DTU、Tanks&Templesデータセットにおいて、教師なしの手法の中ではstate-of-the artな精度を達成した。

その他(なぜ通ったか?等)

https://boese0601.github.io/rc-mvsnet/