#208
summarized by : Hirokatsu Kataoka
HumanNeRF: Free-Viewpoint Rendering of Moving People From Monocular Video

どんな論文か?

YouTube/TikTokなどを想定した単視点人物動画(主にダンス動画)から360度全周画像を生成する研究。技術的には新規視点画像生成のNeural Radiance Fields(NeRF)技術を応用している。
placeholder

新規性

純粋に単視点から撮影された動画像のみを用いて人物が動作している全周画像を生成、自由視点映像とする。従来のNeRFでは多視点から撮影されているが、本研究ではそれがないため、観測できる範囲から繋ぎ合わせて人体を3D的に生成するところがポイントである。添付図のように動画と共に人体ボーンを入力として連続空間を推定している。

結果

スコア面(PSNR/SSIM/LPIPS)でもNeural Bodyよりも良好なスコアを記録した。さらに、ダンスということで、細かい部分にも着目した場合、定性的にも提案手法であるHumanNeRFの方が高性能であることを示した。

その他(なぜ通ったか?等)

Project Page: https://grail.cs.washington.edu/projects/humannerf/