#43
summarized by : Yue Qiu
SQuINTing at VQA Models: Introspecting VQA Models With Sub-Questions

どんな論文か?

Reasoning問題の一致性に着目し,既存のVQAデータセットに対して,新たにReasoning questionsをAnnotationし,Sub-VQAデータセットを提案した.さらに,Sub-VQAを活用した新たなVQA手法も提案(Reasoning問題に対しての一致性を向上).
placeholder

新規性

①従来重要視されて,研究されていないReasoningに対しての一致性に着目.②従来のVQAデータセットに対して,Question onlyのSub-セットを追加し,Reasoning質問に対しての一致性向上に貢献.③Sub-set質問とOriginal質問に類似する画像Attentionをさせるようなモデルを提案し,精度を保ちつつ,Reasoning問題に対してのConsistencyを向上.

結果

提案手法が①Model consistency(+7.8%);② Reasoning問題の精度的に従来手法より大幅向上できた.

その他(なぜ通ったか?等)

Reasoning問題に対しての一致性が既存のVQA手法の問題点,この点もVQA手法の根本的有効性に疑問をもたらしている.この研究がReasoning問題の一致性に着目し,新たにVQAデータセットのQuestionの追加やさらに対応する手法(追加のSub-QuestionとOriginal Questionに対して類似した画像Attentionをさせる)を提案した.