#74
summarized by : Naoya Chiba
UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for Multi-View Reconstruction

どんな論文か?

多視点画像から三次元形状とVolumetricな新規視点画像レンダリングを同時に学習する手法.二値分類器表面形状をOccupancyとして記述し,重畳してNeRFによるRedience Fieldを記述したモデルを利用.Occupancyを利用して表面座標を求めた後,表面周囲と表面からカメラ位置までの間の点を密度を変えてサンプリングしNeRFの枠組みでレンダリングする.
placeholder

新規性

表面形状をImplicitに扱うSurface Renderingを利用したモデルとRadience Fieldを用いたVolume Renderingを利用したなモデルを組み合わせて同時に学習した.これによってどちらか単体では再構成が難しかったシーンの三次元形状を綺麗に再構成できるようになった.

結果

DTU MVS Dataset,BlendedMVS Dataset,SceneNet Datasetで評価.三次元形状の再構成精度が高く,様々な種類のシーンでも物体マスクなど無しで動作することを確認.Ablation StudyとしてSurface RenderingのみやRadience Fieldのみでは再構成時にアーチファクトやノイズの生じるシーンについての精度がよいことを示した.

その他(なぜ通ったか?等)