#151
summarized by : Naoya Chiba
I2L-MeshNet: Image-to-Lixel Prediction Network for Accurate 3D Human Pose and Mesh Estimation from a Single RGB Image

どんな論文か?

2D画像から人体形状のメッシュを推定するネットワークI2L-MeshNetを提案.lixelと呼ばれる,各軸に沿った一次元の特徴量を計算し組み合わせることでSMPLやMANOの頂点単位での座標を予測するヒートマップを推定する.次元を落とすためメモリ効率がよく,高解像度な座標推定を全頂点に対して行うことができる.
placeholder

新規性

画像からlixelを経由して三次元メッシュを推定するというアイデアが新規,これにより隠れている領域の推定を陽に行うことができる.ネットワークはlixelベースで関節座標のヒートマップを推定するPoseNetと,画像・PoseNetの出力を利用して各頂点座標のヒートマップを推定するMeshNetによって構成される.

結果

人体形状のデータセットとしてHuman3.6M,MSCOCO,テストのみに3DPWを使用.手の形状のデータセットとしてFreiHAND,MuCo-3DHPを使用した.既存手法より低い再構成誤差を達成.関節位置の推定を行うことで成功が向上することと,仮に正しい関節角度が与えられた場合にはMeshNetの出力の誤差が大幅に小さくなることを報告.

その他(なぜ通ったか?等)

https://github.com/mks0601/I2L-MeshNet_RELEASE