#382
summarized by : 鈴木共生
RigNeRF: Fully Controllable Neural 3D Portraits

どんな論文か?

NeRFは任意の視点と方向を入力とし,そこから観測される色と密度を推定する技術であり,基本的には静止物体を対象としている.提案法では画像のように任意の頭部姿勢や表情のパラメータを与えることで,学習データにない頭部姿勢と表情を生成可能なNeRFを提案した.
placeholder

新規性

3DMMという頭部姿勢や表情を分離して制御可能な技術がある.提案法は,3DMMによりzero head-pose(頭部・表情が動いていないもの)からの変動量を計算する.この変動量を考慮したモデルを,表情などが変動する短いフレームの動画を使用して学習する.学習後は任意の頭部姿勢と表情のパラメータをNERFの入力に加える.こうすることで任意の頭部姿勢・表情の顔の色と密度推定を実現した.

結果

提案法は頭部姿勢と表情の変化に対応している初のNeRF手法であり比較が出来なかった.そのため,論文内では頭部や表情が変動する短いフレームの動画に対して,従来SOTA手法とPSNRなどで比較評価.従来法よりも高い精度であることを示した.

その他(なぜ通ったか?等)

近年のNeRFではある程度の変動を許容したものは存在するが,表情などには対応していなかった.提案法では,3DMMを組み込むことで表情や姿勢などの変形に対応しており,NeRFの表現能力を向上させたため.