summarized by : Ryo Kamoi
Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension

概要

Neural Question (Kwiatkowski et al., 2019) というmachine readingのQAデータセットでは一つの問題に対して短い解答(数語)と長い解答(数文)を出力することが求められているが、既存の手法では二種類の解答に対して異なるモデルを学習していた。この論文では二種類の解答を同時に出力できるモデルを作成し、既存手法を上回る精度を達成した。
placeholder

新規性

トークン・文・段落・文書の4レベルを階層的なグラフとして捉え、BERTで得られた表現をgraph encoder (graph attention networks) に入力することで、4レベルの表現を同時に学習するモデル。

結果

NQ (Dev set) において既存のSOTA手法とF1スコアを比較すると、短い解答では55.1から59.1に、長い解答では65.9から73.9に向上した。これは人間のスコア(57.5, 73.4) よりも高い。