- …
#1 #emnlp2019
summarized by : Shintaro Yamamoto
概要
ニューラルネットを用いた新たな要約手法が数多く提案されているが，Lead-3ベースライン(要約対象の文から最初の3文を抜き出したもの)と比べると性能の差は微々たるものである．そこで，現在の文章要約研究の問題点を①データセット②評価指標③モデルの3つの観点から議論を行う．
新規性
①データセット：異なるアノテータ間で文章の重要度についてどれくらい意見が一致するか，元の文章中における重要文の位置などを調査した．②評価指標：人間がrelevance, consistency, fluency, coherenceの4つの観点から要約文を評価したデータを収集し，ROUGEとの相関を調べた．③モデル：Lead-3ベースラインや
結果
既存のデータセットにはノイズが含まれていて学習や評価に影響を及ぼすこと，人間による各項目の評価とROUGEの相関が低いこと，ニュース記事要約においてはレイアウトバイアス(最初の文の重要度を高く評価してしまうこと)が存在することを確認した．
- …