#836
summarized by : Kensho Hara
Intra- and Inter-Action Understanding via Temporal Action Parsing

どんな論文か?

行動の理解をさらに詳細に行うために,Actionの中に含まれるsub-actionを解析するtemporal action parsingというタスクを提案し,そのためのTAPOSデータセットを構築.加えて,parsingをするためのtransformerベースの手法であるTransParserも提案.
placeholder

新規性

Temporal action parsingという新タスクの提案 & TAPOSという新しいデータセットを構築.TAPOSデータセットでsub-actionには時間軸でのboundaryが付与.提案手法であるTransParserは2つ重ねたTransformerをコアにして,フレーム列をquery,メモリーバンクのパラメータをkeyとvalueとした構造の手法.

結果

Temporal action parsingの精度はまだまだ低め(人の性能がF値0.8前後に対してTransParserは0.5弱).TransParserによりdiscriminativeなsub-actionを分析したりaction間の関係も分析.

その他(なぜ通ったか?等)

FineGymと同じ著者たちの論文.FineGymでも同じような実験できそうなのに,同時に別の新データセットを構築しているのは強い. Project website: https://sdolivia.github.io/TAPOS/