#57
summarized by : SY
Adversarial VQA: A New Benchmark for Evaluating the Robustness of VQA Models
Linjie Li, Jie Lei, Zhe Gan, Jingjing Liu

どんな論文か？

大規模事前学習によりVQAタスクの性能は格段に向上したが，モデルの頑健性に関する分析は限定的にしか行われていなかった．そこで，VQAの頑健性を評価するための新たなベンチマークを提案した．
placeholder

新規性

Human-and-model-in-the-loopという枠組みによりデータを集める．具体的には，クラウドワーカーにVQAモデルが答えられない質問を作成してもらい，その質問を使ってモデルを再学習するという過程を繰り返していく．

結果

専門家ではないアノテータが最新のVQAモデルを攻撃することが可能であること，従来のVQA v2と比較して提案データセットでは性能が格段に落ちること，データ拡張に用いることでモデルの性能向上が可能であることを確認した．

その他（なぜ通ったか？等）

https://adversarialvqa.org/

このページで利用されている画像は論文から引用しています．