動画・画像中の人のマルチモーダル感情認識において、映っている人間同士の関係性からも感情が変化することに着目し、従来の表情やポーズ情報に加えて深度情報も加えることで感情認識の性能を向上させた。また、より自然なデータセットGroupWalkを新たに提案し、提案手法の有効性を示した。