- …
- …
#786
summarized by : QIU YUE
どんな論文か？
画像だけでなく、外部知識が必要となるOpen-domain VQAのための新しい手法を提案した．提案手法Knowledge Reasoning with Implicit and Symbolic rePresentations (KRISP)がImplicitとExplicit知識を結合し、画像と言語に含まれる潜在的な情報と外部知識から得られる明示的な情報両方を同時に用いて、SOTAを達成。
新規性
①画像と言語に含まれるImplicitな知識と知識ベースから抽出可能なExplicitな知識を両方使う新たなOpen-domain VQAの手法を提案した．②抽出されたExplicitな情報から直接Answerを生成することが性能向上につながることを発見．
結果
提案手法KRISPが既存のOpen-domain VQAデータセットOK-VQAにおいて既存法を大幅に上回る精度を実現し、新しいSoTAを得た．また、Ablation 実験によりSymbolic answer moduleを経由し知識グラフから直接回答する仕組みは性能を実現するために重要であることを示した。
その他（なぜ通ったか？等）
- …
- …