#27
summarized by : Naoya Chiba
D-NeRF: Neural Radiance Fields for Dynamic Scenes

どんな論文か?

NeRFを動的に変化するシーンに対応させ,多視点・他時刻での撮影画像の集合から任意時間・任意視点画像生成を実現した.時刻に関する標準シーンを想定し,各時刻でのシーンの変形を推定するネットワークとNeRF同様の光線上の各点で色と密度を推定するネットワークを用いて時間変化と視点変化に対応する.
placeholder

新規性

NeRFの時間方向への拡張自体が新規.ある時刻でのクエリ点の座標に対応する標準シーンでの座標がどこかを推定するというタスクに分離することで非剛体な変形にも対応でき,ボリュームレンダリング部分はほぼ変更無くNeRFを学習できた.タスクの分離をせず純粋に関数の入力次元を拡張したT-NeRFよりも良好な画像生成を実現している.

結果

いくつかのシーンについて新規視点・時刻での画像を生成しNeRF, T-NeRFと比較した.NeRFは時間の変化に対応していないためぼやけた画像を生成するが,T-NeRFはある程度動的シーンを再現できる.提案するD-NeRFはこれらより優れ,その時刻・視点での観測が得られていない部分もうまく補間できている.

その他(なぜ通ったか?等)