- …
- …
#152
summarized by : Naoya Chiba
どんな論文か？
三次元メッシュの再構成における物体形状と姿勢について教師なし学習でDisentanglementする．形状情報を取り出すエンコーダーと姿勢情報を取り出すエンコーダー，これらを組み合わせて再構成するデコーダーを学習する．異なる姿勢にある，変形前は同じ形状のデータについて同一形状であるという情報を利用してそれぞれのコードの役割を分担させる．
新規性
三次元メッシュについて形状と姿勢を教師なしでDisentanglementするアプローチが新規．形状コードを交換してもメッシュ形状が保たれることを要請するCross-consistencyと，姿勢だけを別の形状のコードに変更してから再度姿勢のコードを戻したときに同じ形状に戻ることを要請するSelf-consistency，さらに変形ができるだけ剛体変換的になるようARAPによる制約を与えた．
結果
AMASS（人間のモーション）とCOMA（顔の形状・表情），SMAL（四足動物の体型），MANO（手の形状）のデータセットで学習・評価．既存手法よりも再構成誤差が小さく，教師なしでもうまくDisentanglementできた．
その他（なぜ通ったか？等）
SMPLなどのパラメトリックな形状変換と最近のメッシュなどを直接回帰するアプローチをつなぐような手法となっており，今後の応用が期待される．
http://virtualhumans.mpi-inf.mpg.de/unsup_shape_pose/
- …
- …