#227
summarized by : QIUYUE
Query and Attention Augmentation for Knowledge-Based Explainable Reasoning

どんな論文か?

既存のExplainable VQA手法は知識Queryの生成や外部知識の利用に関して検討が足りていなかった。ここで、性能が高いQueryの生成と外部知識を導入した新たなExplainable VQA手法を提案。提案手法は質問から、Query拡張を含めたFunctional Programsを生成しVQAを段階的に行う。また、画像と外部知識両方に対してattentionする仕組みを提案。
placeholder

新規性

今まで高い精度を達成したVQA手法がたくさんあったが、Explainable VQA手法の検討が足りていない。ここで新たなExplainableな手法を提案。さらに、既存のNMN系の手法は外部知識を使わないため、ここで外部知識をNMNに導入し、さらに外部知識と画像両方に対してattentionする新たな仕組みを提案。

結果

提案手法がVQAの質問を回答する際に、高い解釈性が含まれた中間結果も生成できる。また、OK-VQA、VQAv2、GQAなど複数のVQAデータセットにSOTAを達成。

その他(なぜ通ったか?等)