#60
summarized by : Shun.ishizaka
Generative Hybrid Representations for Activity Forecasting With No-Regret Learning

どんな論文か?

過去の軌跡や映像を手掛かりとして,将来の行動や軌跡を予測する手法. 軌跡という連続的な情報と行動という離散的な情報をハイブリッドさせて予測する.将来の行動として考えられる選択肢の多様性を考慮しつつ予測精度を上げるためのCross Entropyを定義している.また,予測する中で観測時間が連続的に増えていくことを利用するためNo-regret online learningへの適用も検証した.
placeholder

新規性

・一人称視点映像で軌跡予測に取り組む研究は少ない+行動と軌跡を同時に予測するものは少ない ・今回対象にしているのがkitchenでの行動なので,未来の行動として妥当なものがいくつか出てくる → 行動遷移の多様性をうまいことロスに取り入れているのがgood

結果

EPIC-KITCHENSデータセットにて評価.DCE,CVAE,MRMCをbaseline手法として比較. 予測した軌跡のズレ(minMSDおよびmeanMSD)および行動予測の結果(F1 scoreで評価)についていずれも提案手法が優秀.No-regret online learningに適用した結果についても,学習が進むにつれregretを0に近づけることができている.

その他(なぜ通ったか?等)

・ちなみに,3人称視点映像ではあるが軌跡+行動を一緒に予測しているものも無くはない → Peeking into the future(Liang+, CVPR2019)