attentionについて細かく見ている点。

タスクによって、attentionパターンはちがう。しかし、多くのタスクでSEPが強くattentionされる。 何らかの言語的特徴をattentionは捉えている。 ある層のattentionを平準化したところ精度が上がるものがあるので、BERTはbaseの大きさで、overparametarize。 pre-trainなしだとGLUEで精度がでない。