- …
- …
#155
summarized by : Naoya Chiba
どんな論文か？
人体や手のメッシュの頂点座標を2D画像から直接回帰する手法Pose2Meshの提案．2D画像から2Dでの関節位置，3Dでの関節位置を順次推定（PoseNet）し，そこから粗い三次元メッシュを推定，メッシュ上でGraphCNNを用いてアップサンプリングして最終的な各頂点座標を得る（MeshNet）．一度関節位置の推定を行うことで外観変化に対してロバストになる．
新規性
人体・手のメッシュの再構成を関節位置推定を経由して行い，最終的にGraphCNNで高解像度に変換するというアプローチが新規．MeshNetはグラフフーリエ変換を利用したスペクトル領域での畳み込みを行い，段階的にメッシュの超解像することで多頂点数のなめらかなメッシュを生成する．PoseNetを事前学習してからネットワーク全体をEnd-to-Endでトレーニングする．
結果
人体の形状データとしてHuman3.6M，3DPW，COCO，MuCo-3DHP，手の形状データとしてFreiHANDを利用して実験しSoTA．Ablation Studyとして変形パラメータではなくメッシュを回帰したほうが良いこと，メッシュのアップサンプリングは段階的に行ったほうが良いこと，3D関節位置を経由したほうが良いことを確認．
その他（なぜ通ったか？等）
https://github.com/hongsukchoi/Pose2Mesh_RELEASE
- …
- …