外部から得たあらすじなどの情報を用いることで、特別なアノテーションつきデータの必要なしに動画のストーリーを理解するモデルを設計した。その中で scene graph を使い教師なしで動画の説明文を生成する手法を提案した。また、modality weighting mechanism によって情報損失なしに複数のモダリティからの情報を統合した。

知識ベースの VQA データセットおよび外部知識を使わない VQA データセットの両方において SOTA を達成した。