今までにAudio-Visual Question Answeringデータセットは他にもあったが、比較的に時系列のAudio信号の変化の認識は重要視されてこなかった。ここで、AudioとSpatio-temporal両方必要とするタスク設定と新たなデータセットを提案。また、Audio及びSpatioとTemporalの3つの情報の関係性を学習できる新たなTransformerベースな手法も提案。

提案のデータセットでの実験により、提案のAudio・Spatial・Temporal Transformer構造は音声のみ、ビデオのみ、もしくは音声とビデオ両方使った既存手法より高い精度を達成した。

今の時点で、Audio＋Vision＋Languageの研究は通り安いような気がする。特に、データセットの構築が難しいため、データセットの構築が評価されやすい。