#6 #acl2021
summarized by : Shintaro Yamamoto
Long-Span Summarization via Local Attention and Content Selection
Potsawee Manakul, Mark Gales

概要

要約を含んだNLPタスクの多くでTransformerベースのモデルが使われているが，Transformerはメモリや計算量の観点から系列長が長い入力に用いるのは難しい．論文などの長い文章の要約に対する要約タスクにTransformerを利用する方法を検討する．
placeholder

新規性

Local self-attentionとcontent selectionの2つの方法によりTransformerベースの抽象型要約を扱う．Local self-attentionは，BARTのアテンションが注目する範囲を制限することでメモリ消費を抑える．Content selectionでは，元の文から重要度の高い文を抜き出すことで入力の系列長を抑える．それぞれに対して性能やメモリ消費などの観点から効果を分析した．

結果

Spotify Podcast, arXiv, PubMedの3種類のデータセットを用いて実験を行い，local self-attentionとcontent selectionによりstate-of-the-artを達成したことを確認．

このページで利用されている画像は論文から引用しています．