#17
summarized by : Naoya Chiba
Nerfies: Deformable Neural Radiance Fields

どんな論文か?

NeRFにシーンの非剛体変形を加えた手法.携帯などで撮影された動画から時間変化による変形と視点変化を任意に画像再構成ができる.NeRFのレンダリングをベースに,変形と見た目の変化を表すコードを設定,これらをクエリと合わせてMLPに入力することでRadience Fieldをモデル化する.
placeholder

新規性

シーンの変化を変形・見た目の変化に分離してそれぞれモデル化した.変形は光線上の座標の位置変化として記述,見た目の変化はNeRFにクエリ点とともに入力する.これによって モデル化,MLPでクエリ点を動かすように学習する.加えて最適化の際にCoase-to-Fineに最適化・歪を抑えるための正則化項の導入の工夫.

結果

設定した実験設定で新規視点画像が生成できることを確認するため,2視点から撮影したデータを準備して検証.提案法により変形するシーンについての新規視点画像生成ができていることを確認した.

その他(なぜ通ったか?等)