- …
- …
#87 #acl2020
summarized by : Okimoto Yusuke
概要
BERTのような事前学習モデルをfine-tuningしてあるタスクを解く場合，対象のタスクでは異なるクラスに属する文や文章であっても，文や文章同士が意味的に近いと，中間表現が近くなってしまう．本研究では，あるクラスの文や文章の中間表現が”識別的”になるよう，他のクラス（負例）の中間表現と離れるような補助タスクを用いて学習することを提案．
新規性
BERTのような事前学習モデルを用いる場合において，中間表現（特徴量）が識別的になるようにするために，クラス同士が離れるようなロスを用いることを提案し，検証した点．
結果
5つのマルチクラス，2つのマルチラベルの文，文章の識別問題のデータセットにおいて，6つのデータセットでSOTA．なお，ほぼすべてのデータセットで，BERTを用いたベースラインで既に今までのSOTAを上回るスコアを示してはいる．
- …
- …