#43
summarized by : kensho.hara
Drive&Act: A Multi-Modal Dataset for Fine-Grained Driver Behavior Recognition in Autonomous Vehicles

どんな論文か?

車内の運転手の行動を詳細にアノテーションしたデータセットを提案している研究.12時間分の動画で,RGB, IR, Depthの3モダリティに加えて6視点から撮影している.3D Skeletonなども提供しているが,これはOpenPoseなどで自動推定(+欠損をフレーム間で補間)したもの.83クラスのアノテーション.車内の運転手の行動とは言うものの自動運転も想定していて運転と関係ない行動が多い.
placeholder

新規性

自動運転も想定したラベル付けが他の運転手行動認識データとの違い.その他にもMulti-modality, Hierarchical & Fine-grainedなラベリング,多視点撮影など,その他のデータセットの違いを主張.

結果

C3D, I3D, P3DといったAction Recognition手法を適用した結果を報告.Fine-grained activity recognitionで60~70%程度,その他Cross-viewやModalityごとの認識精度などをまとめている.

その他(なぜ通ったか?等)

自動運転ができて,運転手が車内でいろいろなことをするようになることを想定したデータセットというのが面白い.とはいえ,そのラベルセットだと車内でやる必要があるのか?という疑問もなくはない.