#96
summarized by : Pavel Savkin
PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization

どんな論文か?

複数カメラや照明を用いた高精度な人物の形状復元が一般的になってきている昨今で、広く普及して得る単眼カメラのみで復元する手法は依然品質で劣る。本研究ではその問題を解決するべく、単眼カメラでも高精度な人間の服を含めた形状復元を実現している。具体的には、3次元形状復元をモデルベースやボクセル等の離散表現ではなく陰関数表現を用いた階層型ニューラルネットで実現する。
placeholder

新規性

1.服のしわや顔の表情をも1k解像度で高精度に実現する手法を提案した点。 2.背中部分等の画像から見えない領域の表現力を向上させ、全体的に違和感のない全身キャプチャを実現した点。

結果

1.従来の手法に比べ、2つのデータセット、3つの項目中5項目での精度向上を実現した。 2.従来手法に比べ、定性的に復元の精度が高いことを証明した。 3.遮蔽部分の復元に関して、定性的に法線情報を用いる提案が有用であることを示した。 4.Ablation Studyから、定性的に提案手法のアーキテクチャが最も優れていることを示した。

その他(なぜ通ったか?等)

1.結果のインパクトが大きい点。 2.陰関数表現や遮蔽部分の高解像復元など、技術的新規性を出しながらもシンプルなアイデアで最大の効果が出せている点 3.単純にこの手法に定性的・定量的な精度でまさる手法が存在しない点