- …
- …
#172
summarized by : Naoya Chiba
どんな論文か？
RGB-D動画から人間の全身形状のメッシュとテクスチャを再構成する手法TexMeshの提案．フレームごとの粗いメッシュとライティング情報を既知として高精細なメッシュとテクスチャを構築できる．各フレームでアルベドと法線を推定してから，フレームを統合してテクスチャを推定，このテキスチャが整合するようにメッシュをRefineするよう学習する．
新規性
RGB-D動画から一貫した高精細なメッシュ・テクスチャの再構築を行った点が新規．ライティング情報を活用することで法線・アルベドが安定して推定でき，光源による効果が推定するテクスチャに悪影響を及ぼさないように学習できる．高精細なキーフレームを選択しUVマッピングされたテクスチャを推定，CNNでRefineする．メッシュもUV上で誤差を計算しメッシュ自体をRefineして高精細化する．
結果
Laval Datasetを照明として用い，RenderPeopleと独自スキャンデータを用いて合成データを作成，事前トレーニングを行う．HDRI Heavenの照明データとAXYZ Datasetで合成したデータと，実センサを用いたデータで評価した．合成データでの評価では既存手法より優れた再投影画像が得られており，実データでも良好な三次元計測結果が得られた．
その他（なぜ通ったか？等）
問題設定が実用的かつ面白い．3Dデータ再構成の問題をほぼ2Dだけでうまく説いている．
https://research.fb.com/publications/texmesh-reconstructing-detailed-human-texture-and-geometry-from-rgb-d-video/
- …
- …