#65
summarized by : Shun.ishizaka
Oops! Predicting Unintentional Action in Video

どんな論文か?

意図しない行動を含んだOops! Datasetを提案した.たとえばスキージャンプをしようとして派手に転倒したり,椅子から転げ落ちたりするシーンを収録(SNSでよくあるハプニング映像みたいなもの). また,映像中から意図しないことが発生したことを認識・特定・予測するタスクに取り組んだ.self-supervised learningの枠組みで動画のframerateに着目する手法を提案した.
placeholder

新規性

・既存の行動データセットは殆どが意図した行動のみを収録しており,「意図した行動」「意図していない行動」という点に着目したことが新しい ・inputとなる映像の速度(fps)に注目し,意図した行動かどうかの予測に役立てるモデルを提案した(=対象の移動速度が突然速くなったときに意図しない行動が発生した可能性が高い→入力される映像のframerateを理解することは重要)

結果

20,338本の動画,うちラベル付きの学習セットは7,368本(self-supervised learningの評価のためラベルは少なめ),テストセットは6,739本. 構築したDatasetでの意図しないことが発生したことを認識・特定・予測するタスクについて,提案手法は教師有りの手法と比べても遜色ない精度が出せた.しかし人間が同じタスクに取り組んだときの精度を比較すると大きな乖離があった.

その他(なぜ通ったか?等)

心なしか痛そうな映像が多いような気がします....datasetは以下からダウンロード可能です(どういう映像かは見た方がはやいです). https://oops.cs.columbia.edu/data/