#148
summarized by : Naoya Chiba
Dual Grid Net: Hand Mesh Vertex Regression from Single Depth Maps

どんな論文か?

Depth画像から手のメッシュを再構成する手法の提案,キーポイントの座標だけで学習できる.2DでのFCNで各画素に対応する手のメッシュ上の点と対応させ,メッシュ上での畳み込みを行いメッシュの三次元形状を推定する.運動学的な仮定をおくことで自己教師学習を行うこともできる.
placeholder

新規性

関節位置ではなくメッシュそのものを復元する手法を提案しており,かつ自己教師あり学習でも高い精度を達成している.さらに不可視領域の特徴量も推定し形状を復元するため,Hourglass Networkを通してメッシュ全体の各頂点の座標を推定する.テンプレートメッシュの線形結合にフィッティングすることでメッシュの形状をRefineする.

結果

NYU Hand Pose Datasetで学習・評価.さらに合成データで学習したモデルを別の合成データ・実データに汎化するかを評価した.頂点座標のエラーで評価し,教師なしでも既存手法と同程度の性能を達成.

その他(なぜ通ったか?等)