- …
- …
#27 #acl2020
summarized by : Shintaro Yamamoto
概要
BERTなどにより獲得する表現は、単語もしくはセンテンス単位となっている。論文などでは文書全体の情報が重要であるとして、論文のrepresentationを獲得するTransformerベースのモデルSPECTERを提案。
新規性
引用している論文をポジティブ、それ以外の論文をネガティブとして扱うことで、SciBERTをTriplet Lossによって学習を行う。また、評価用に科学論文を対象とした4種類のタスクを提案。
結果
提案タスクのうちCitation prediction以外の性能が従来手法を上回っている。
- …
- …