- …
- …
#449
summarized by : Hirokatsu Kataoka
どんな論文か？
家庭環境における人物行動認識を実施するために、Home Action Genome（HOMAGE）を提案。 HOMAGEは一人称・三人称など複数視点動画、音声などマルティモダリティにより構成されている。データセット中には人物・物体やその関係性を記述した時空間のシーングラフも提供されている。
新規性
手法自体は添付図に示す通り、音声・一人称/三人称視点動画像の入力により構成されている。提案のCooperative Compositional Action Understanding（CCAU）ではそれぞれの特徴（f_audio, f_ego, f_third）の整合性をとるように協調学習を行うことで、行動（Action）やさらに詳細な行動（Atomic Action）を認識する。
結果
CCAUにより、学習時は三人称視点動画像を用いるが、推論時は一人称視点動画像のみで6.4%の精度向上が見られた。その他にも、実験では協調学習の効果やFew-shot学習の効果が検証されていた。
その他（なぜ通ったか？等）
採択理由として最も大きな貢献点はデータセットの提供である。また、研究連携による効果は大きく、データ取得・データセット構築・手法提案など相乗効果があったものと思われる。
- …
- …