- …
#2 #emnlp2019
summarized by : Shintaro Yamamoto
概要
BERTなどの事前学習済み言語モデルがニュース記事やwikipediaの文章を学習に用いているのに対して，科学論文を用いて学習データを行うSCIBERTを提案した．
新規性
Computer Science及びBiomedical分野の論文約100万本を用いてBERTの学習を行った．その際ボキャブラリーもBERTのものとは異なり学習データより新たに構築をした．
結果
科学論文を題材としてNamed Entity Recognitionなど5つのタスクを考え，通常のBERTよりも精度が向上することを確認した．
- …