- …
- …
#188
summarized by : Masanori YANO
どんな論文か?
NeRFを拡張して、複数の画像と姿勢のキーポイント情報から、関節でつながったオブジェクトの3次元表現とパーツのセグメンテーションを学習する手法。教師データには含まれていない姿勢や視点に変更した画像の合成が可能。
新規性
MLPの入力情報となる位置xが、どのパーツに属しているか確率を推定して色と密度のRadiance Fieldの出力に反映させるNARFを提案した。
結果
ICCV 2019採択のDeepHumanのTHUmanデータセットを使用した合成データセットで定量的及び定性的な評価を行い、ベースラインとしたNeRFベースの手法を上回る結果。また、オートエンコーダの活用により、潜在空間で形状と見かけを分離できることも定性的に示している。
その他(なぜ通ったか?等)
追加情報が姿勢のアノテーションのみで人体の表現を獲得できることで通ったと考えられる。PyTorch実装( https://github.com/nogu-atsu/NARF )が公開されている。
- …
- …