#345
summarized by : Katsuyuki Nakamura
You2Me: Inferring Body Pose in Egocentric Video via First and Second Person Interactions

どんな論文か?

一人称視点映像を入力として、直接観測できないカメラ装着者の自己姿勢を推定する。フロー・アピアランス特徴に加えて、インタラクションをとっている人物の姿勢をコンテキスト情報として利用することで推定精度を向上する。
placeholder

新規性

直接観測ができない自己姿勢の推定のために、観測が可能な周囲の人物姿勢を活用することがポイント。

結果

パノプティックスタジオで撮影したYou2Meデータセットを構築(1-on-1インタラクション×2分間×42シーケンス、被験者10名)。現状のSoTAであるMotionGraphと比較して推定誤差を低減した。

その他(なぜ通ったか?等)

インタラクションしている人がいる前提の特殊な問題設定だが、問題の切り取り方はうまいと思った。You2Meデータセットの公開もコントリビューション。 http://vision.cs.utexas.edu/projects/you2me/