#188
summarized by : Masanori YANO
Neural Articulated Radiance Field

どんな論文か?

NeRFを拡張して、複数の画像と姿勢のキーポイント情報から、関節でつながったオブジェクトの3次元表現とパーツのセグメンテーションを学習する手法。教師データには含まれていない姿勢や視点に変更した画像の合成が可能。
placeholder

新規性

MLPの入力情報となる位置xが、どのパーツに属しているか確率を推定して色と密度のRadiance Fieldの出力に反映させるNARFを提案した。

結果

ICCV 2019採択のDeepHumanのTHUmanデータセットを使用した合成データセットで定量的及び定性的な評価を行い、ベースラインとしたNeRFベースの手法を上回る結果。また、オートエンコーダの活用により、潜在空間で形状と見かけを分離できることも定性的に示している。

その他(なぜ通ったか?等)

追加情報が姿勢のアノテーションのみで人体の表現を獲得できることで通ったと考えられる。PyTorch実装( https://github.com/nogu-atsu/NARF )が公開されている。