- …
- …
#16 #emnlp2019
summarized by : Shintaro Yamamoto
概要
Sentence matchingの研究では，2つの文の相互参照を実現するためのアテンションベースの手法が提案されている．しかし，従来研究では異なる深さの特徴表現を参照しているためにsemanticsが異なってしまい，得られるアテンションは不確かで誤差が伝搬してしまうという問題があった．この問題を解決するためにOriginal Semantics-Oriented Attention and Deep Fusion Network(OSOA-DFN)を提案．
新規性
OSOA-DFNは，(1)2つの文章を互いに参照してアテンションを求めるCross Attention Unit(2)アテンションを基にそれぞれの文章に対する新しい特徴表現を求めるDeep Fusion(3)各文に対するSelf-Attentionの3つの要素により構成される．
結果
SNLI, SciTail, Quoraの3つのデータセットで実験を行い，従来手法より精度が高いことを確認した．cross sentence attentionレイヤーを複数層にすることで精度の向上が可能であるが，層が増えるにつれてパラメータが増えるために精度の上り幅は小さくなった．
- …
- …