- …
- …
#327
summarized by : Kensho Hara
どんな論文か？
時系列のマルチメディアコンテンツ（表情，音声，テキスト，審美度，シーン，状況）を入力として，各時刻における（映像を見た人の）感情を推定する手法を提案．各モダリティ間のco-attentionを計算し，cLSTMをベースとしたEncoder-Decoder，グレンジャー因果性（ある時系列が別の時系列の予測に役立つかどうかを判定）により感情の推定を行う．心理学や統計学の知見を導入した構造になっている．
新規性
感情の推定の時系列的な変化を学習し推定することができるモデルであるAfect2MMを提案．映像のような長い時系列の因果性をモデル化するために，感情推定のモデルにco-attentionとグレンジャー因果性を導入した点がポイント．
結果
SENDv1, MovieGraphs, LIRIS-ACCEDEデータセットでSOTAを超える性能を達成．Ablation StudyではCo-attention，グレンジャー因果性，それぞれを追加した方が推定精度が向上することを確認．
その他（なぜ通ったか？等）
Multimedia Contentを入力としてAffective Analysisをする手法ならMM2Affectになる気がするのに，なぜAffect2MM？
Project Page: https://gamma.umd.edu/researchdirections/affectivecomputing/affect2mm/
- …
- …