- …
- …
#95 #acl2020
summarized by : Shintaro Yamamoto
概要
BERTなどのTransformerベースのモデルの多くは，系列長に上限が存在するため長い文章を扱う際には分割する必要がある．そのため，QAタスクにおける答えが分割境界にある場合適切に扱えない可能性がある．そこで，適切なセグメントを見つけることで長い文章を取り扱うことが可能なモデルを提案．
新規性
従来手法では，セグメントの分割を固定したstrideサイズに基づいて行っていたのに対し，strideを可変にする強化学習ベースのモデルを提案．
結果
文章中のトークン数が多い際に，通常のBERT-Largeと比較して提案手法が有効であることを確認．
- …
- …