Winograd Schema Challenge (WSC)，一般知識を必要とする推論タスク，は人間には当然のように解けるが機械には依然として困難である． BERT の登場を踏まえても，通常の事前学習タスクで得られる情報では，これらのタスクを解くことはできないため，文の論理構造を利用しさらなる事前学習用のデータセットを生成し，BERT の追加 pre-training を行った．