#388
summarized by : 福原吉博 (Yoshihiro Fukuhara)
Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes
Zhengqi Li, Simon Niklaus, Noah Snavely, Oliver Wang

どんな論文か？

動的なシーンを単一カメラで撮影されたRGB動画から、任意時間における任意視点の画像を生成する neural network モデルを提案. 動的なシーンを表現するために, 従来の Neural Radiance Fields にシーンのフローと遮蔽度合いを加えて拡張した表現である Neural Scene Flow Fields を提案.
placeholder

新規性

動的シーンを時間可変な連続関数として表現した Neural Scene Flow Fields を提案し, 単一カメラで撮影されたRGB動画から MLP に Neural Scene Flow Fields を学習させる手法を提案. 動的シーンの一貫性を保つため, シーンのフロー情報を使用した Temporal photometric consistency を課している.

結果

動的シーンにおいて NeRF などの先行研究と比較して, SSIM, PSNR, LPIPS いずれの尺度においてもSoTAを達成. ただし, 制限事項としてNeRFなどの手法と同様に外挿や高周波情報は復元出来ない.

その他（なぜ通ったか？等）

https://github.com/zhengqili/Neural-Scene-Flow-Fields

このページで利用されている画像は論文から引用しています．