#460
summarized by : Katsuyuki Nakamura
Repetitive Activity Counting by Sight and Sound

どんな論文か?

映像と音声を併用した反復行動のカウント手法。
placeholder

新規性

従来手法は映像のみを使っていたが、音声を併用することで、視覚的な判断が難しい状況(モーションブラーや画面外で発生する行動など)でも効果がでることを示した。映像・音声単独の推定モジュール、半復周期の推定モジュール、これらを加味したスイッチングモジュールで構成されている。

結果

UCFRepとCountixデータセットで検証。半復周期の推定モジュールによって、Sight onlyでもSoTAを達成。Soundを加えることで更に性能が向上した。

その他(なぜ通ったか?等)

https://github.com/xiaobai1217/RepetitionCounting