#915
summarized by : Naoya Chiba
AvatarMe: Realistically Renderable 3D Facial Reconstruction "In-the-Wild"

どんな論文か?

顔画像から顔の三次元データを復元する手法,非常に高画質かつ"in-the-wild"なデータに対してもうまく復元できるような枠組みとなっていることが特徴.200人を超える顔のデータセットReal Face DBを作成(公開予定)し学習した.
placeholder

新規性

2Dと3Dへのマッピングは既存手法3DMMを利用し,提案法は2D画像のドメイン変換を基本として設計.画像の超解像とライティングの影響の除去,BRDFのパラメータ推定(鏡面反射成分,拡散反射用の法線マップ,鏡面反射用の法線マップ)をそれぞれ行うことで高画質な3Dの顔画像のレンダリングを実現.

結果

Real Face DB(作成したデータセット)で学習して実験,既存手法と比較して圧倒的に高画質かつきれいなRendering結果を得ている.

その他(なぜ通ったか?等)

シンプルかつRendering手法を想定したアイデアで高画質な顔画像の再構成を実現した.