#113
summarized by : Shun.ishizaka
Action Genome: Actions As Compositions of Spatio-Temporal Scene Graphs

どんな論文か?

actionを時系列データとしてのscene graphの形で表現するようなdatasetを構築.actionの区間およびラベルをアノテーションしたのち,各action区間ごとに5frameずつ物体領域およびrelationshipsのラベルを付与することでscene graphのアノテーションを付与した.また,動画からactionを認識する手法をfeature banksベースに提案.
placeholder

新規性

・scene graphの情報を動画に対して付与したものは初 ・scene graphを用いたaction recognition手法の提案.このdatasetで新たに付与される物体領域とrelationshipsの情報を利用している.

結果

・videoが10K(82h),actionカテゴリが157クラス,objectのinstanceが0.4M,relationshipsラベルが1.7Mと大規模. ・既存のaction recognition手法を比較し,scene graphを利用することで精度の向上を確認

その他(なぜ通ったか?等)

Genomeシリーズ第二弾.Visual Genomeの動画版的な立ち位置.