- …
- …
#836
summarized by : Kensho Hara
どんな論文か？
行動の理解をさらに詳細に行うために，Actionの中に含まれるsub-actionを解析するtemporal action parsingというタスクを提案し，そのためのTAPOSデータセットを構築．加えて，parsingをするためのtransformerベースの手法であるTransParserも提案．
新規性
Temporal action parsingという新タスクの提案 & TAPOSという新しいデータセットを構築．TAPOSデータセットでsub-actionには時間軸でのboundaryが付与．提案手法であるTransParserは2つ重ねたTransformerをコアにして，フレーム列をquery，メモリーバンクのパラメータをkeyとvalueとした構造の手法．
結果
Temporal action parsingの精度はまだまだ低め（人の性能がF値0.8前後に対してTransParserは0.5弱）．TransParserによりdiscriminativeなsub-actionを分析したりaction間の関係も分析．
その他（なぜ通ったか？等）
FineGymと同じ著者たちの論文．FineGymでも同じような実験できそうなのに，同時に別の新データセットを構築しているのは強い．
Project website: https://sdolivia.github.io/TAPOS/
- …
- …