従来のAction Segmentationのアノテーションはフレーム単位でのアノテーションを要するため、アノテーションコストが非常に高い。そこで、モデルの出力とタイムスタンプを用いる手法によって、行動クラスの遷移箇所を検出し、フレーム単位のラベルを生成する手法を提案。また、タイムスタンプの位置から離れるほど予測確率が単調減少するlossも提案している。

Action Segmentationのタスクで使用されている4つのデータセット(50Salads, Breakfast, BEOID, GTEA)において、frame単位でのアノテーションを学習したモデルと同等の性能を達成。

https://github.com/ZheLi2020/TimestampActionSeg