- …
- …
#688
summarized by : Naoya Chiba
どんな論文か？
同画像から時間変化するNeural Irradiance Fieldsを学習し任意視点・任意時刻の画像生成を実現．ある時刻・ある三次元点に対するIrradiance FieldsをMLPでモデル化し，光線上のボリューメトリックレンダリングの結果が学習データと一致するように学習する．時間に拡張するとシーンについての拘束条件が足りなくなるため，深度推定とシーン変化の少なさを利用して学習する．
新規性
NeRFを直接時空間表現に拡張し，任意視点・任意時刻での画像生成を行った点が新規．カメラ画像についてのロスだけでなく深度を同時に推定することで異なるカメラ位置での画像が破綻しにくいようにする．また，物体がない領域にアーティファクトが生じないように要請するロス，時間変化でシーンが大きく動かないことを仮定したロスを導入．
結果
Xuanらのデータセットで学習・評価．またMPI Sintel datasetを用いてステレオ画像の片眼からシーンを学習・もう片眼の画像で定量的評価．定性的にはきれいな画像が再構成できており，定量的にも画像全体のPSNR・SSIM，未知領域のPSNRについて良いスコアとなっている．シーンフローを再構成するロスも検討したが性能向上しないことを紹介．
その他（なぜ通ったか？等）
- …
- …