- …
- …
#29 #emnlp2019
summarized by : Shintaro Yamamoto
概要
BERTやRoBERTaなど学習済み言語モデルにより様々なタスクの精度が向上しているが，2つの文章を比較するタスクでは2つの文章を同時にネットワークに入力するため，全組み合わせ試行する必要があり計算時間が膨大になっていた．そこで，文章の特徴表現を得ることで特徴量同士で類似度を比較することを可能とするSentence-BERTを提案する．
新規性
BERTより獲得した各tokenに対する表現を，どのように用いるのが良いか(CLSトークン，各トークンの平均など)や2つの文章を比較する際にどのようにconcatinateするのが精度が向上するかなどを比較した．
結果
最も類似しているペアを探すタスクにおいて，BERTの性能を維持しつつ2文を同時に入力していた場合65時間かかるところを5秒で計算することが可能となった．
- …
- …