summarized by : cfiken
Multi-passage BERT: A Globally Normalized BERT Model for Open-domain Question Answering

概要

OpenDomain な QA のタスクは BERT の登場で大きく改善されたが、既存手法は一つの質問に対して複数の候補文をそれぞれ独立に質問-候補文ペアとして学習し、それぞれでスコアの高い回答を選択している。 本研究では、既存手法では候補となる文章全体でのスコアが適切に計算できないなどの理由から、全てで Normalize しスコアを計算するなどの工夫を加えた Multi-passage BERT を提案。 OpenSQuAD, TriviaQA, Quasar-T, SearchQA で全ての SoTA を更新した。
placeholder

新規性

全ての候補文章から回答を予測する global normalization がよりモデルを安定化させることや、その他 ranker の貢献や候補文の stride などの効果をいくつかの実験により確認した。

結果

OpenSQuAD, TriviaQA, Quasar-T, SearchQA の4つのデータセットで検証し、全てのデータセットで SoTA を更新した。細かく実験を行い、現在のモデルで効果がある手法, BERT 以前では使われていたが BERT では効果のない手法を明らかにした。