#332
summarized by : 志田遥飛
Self-Supervised Keypoint Discovery in Behavioral Videos

どんな論文か?

行動分析のための新しい自己教師あり学習(SSL)手法B-KinDを提案.既存のSSL手法は,動画内に複数のエージェントがいる,メインエージェントに対するアノテーションを必要とするなどの制約があり一般的な動画データに対応していなかった.提案手法では,時空間差異を再構成し,エージェントのキーポイントを推定することで様々な設定の動画データに対応している.
placeholder

新規性

それまでのSSL手法は動画内に複数エージェントNG,複数エージェント写っているときはメインエージェントに対するバウンディングボックスによるアノテーションが必要などの制約があった.本手法ではキーポイントをアノテーション無しで推定し,行動分析に活用することで様々な状況の動画データに対応している.

結果

下流タスク(behavior classification ,keypoint regression,physics-based modeling)にのいて,推定したキーポイントの性能を実証している.結果としては(1)既存の教師あり手法に匹敵する精度を出した.(2)自己教師あり学習の中でも最先端の性能を出した. 参考までに最新手法との比較結果を添付する.

その他(なぜ通ったか?等)

【Code & Project Website】 https://sites.google.com/view/b-kind