#113
summarized by : Haruhi Shida
Multi-Person 3D Pose and Shape Estimation via Inverse Kinematics and Refinement

どんな論文か?

本論文では,単眼RGB画像からメッシュの形で3次元姿勢と形状を推定することを目的として,「3次元骨格を推定し、それを逆運動学によって3次元メッシュに変換する、粗いものから細かいものまでの多人数3次元身体メッシュ再構成を実現するパイプライン」を提案.既存の手法が抱える問題を解決し,大幅に上回る性能を獲得することを実験から示した.
placeholder

新規性

提案手法は相互作用する人物に対してロバストにするために、3次元骨格推定にオクルージョンロバスト技術を採用,人と人の関係性を考慮したメッシュ洗練のためのTransformerベースのアーキテクチャを提案し、人物内および人物間の関係を考慮して初期メッシュパラメータを洗練させることに成功. 提案手法は3DPW、MuPoTS、AGORAの各データセットにおいて最先端技術を凌駕する性能を示した.

結果

実験により、オクルージョンに頑健な3次元ポーズを3次元メッシュに変換し、相互作用する人物の初期メッシュパラメータを精緻化するという我々のアイデアが実際に有効であることを確認した。また,提案した各構成要素が意図したシナリオに対して有意義に機能することがアブレーション研究からわかった.(添付画像)

その他(なぜ通ったか?等)

【提案手法の技術部分】 提案手法は,多人数3次元メッシュ再構成タスクに対して、まずオクルージョンに頑健な3次元骨格を推定し、次に逆運動学的処理により初期3次元メッシュを再構成し、最後に人物内外の関係を考慮したリファイナーに基づいてそれらを改良するパイプラインである.(粗 → 細) 【添付画像】 既存の手法との可視化結果比較.赤丸で囲まれている部分は間違った推定部分.