- …
- …
#182
summarized by : 佐藤凜太郎
どんな論文か？
従来のニューラルネットワークによる陰関数表現は，模様が繰り返されるテクスチャなどの部分における3D復元精度は高くない．そこで，本研究では，従来のNeRFの画素単位でレンダリングした画像のRGB値と入力画像のRGB値の差の最小化に加えて，参照画像Irと別視点から撮影した画像Isの測光誤差(SSIM)をパッチ単位で最小化することで，視点間の整合性を高める．
新規性
新規性 *
従来のNeRFに多視点幾何を導入することで視点間の整合性を高めた点．参照画像Irにおけるパッチを別視点の画像Isにワープさせるために，レイを通過する各点の法線ベクトル及びホモグラフィー行列を算出している．Isの画像サイズ外に射影される場合やオクルージョンにもマスクを作成することで上手く処理している．
結果
DTUデータセットでは，多くの既存手法より精度良く復元している．EPFLデータセットでは，シーンの中心部分だけをチャンファー距離で評価したメトリックでは，COLMAPより精度良く復元できている
その他（なぜ通ったか？等）
NeRFと多視点幾何の組み合わせ．
http://imagine.enpc.fr/~darmonf/NeuralWarp/
- …
- …