- …
- …
#720
summarized by : Yusuke Saito
どんな論文か?
一般的な多関節構造の単眼3次元再構成は、馬や牛のような一般的な関節を持つカテゴリーについては、強力なスーパーバイズがないことと、一般的なカテゴリーの関節変形を表現して学習するという新たな課題がある。本研究ではビデオの自己監視を利用し、3Dテンプレートの変形の解釈可能なモデルを導入し、またサンプルごとの数値最適化手法を提案する。
新規性
- 既存手法では顔、猫、または一般的な対称的なオブジェクトなど、中程度の形状変動性のカテゴリに限定されていた。対照的に提案手法では、高度に関節変形する物体のモデルを、特別な前処理や対称性などの強い仮定を必要とせず学習することが可能である。
- 関連する最適化問題が微分可能な構造化された層として使用できることに気付き、それを制御点の学習とその3D位置の効率的な回帰の両方に使用している。
結果
- CUBデータセットを用いて,A-CSMの正確な監視を行った.SOTAであるKanazawaの手法をmIoUおよびPCKの両方の手法で上回った。
- 他の手法では開いた翼の変化をほとんど捉えていないのに対し、本手法では柔軟性の高い翼を生成できている。
- 「馬」カテゴリーでのAblation Studyでは、モーション監視の手法は、すべての構成と評価指標において、系統的に精度を向上させた。
その他(なぜ通ったか?等)
- 対象の一般的な骨格などの知識が不要な、一般的な多関節構造の単眼3次元再構成を実現している。また、そのうえで、過去のSOTAを上回る結果を示している点。
- …
- …