構文解析のタスクにおいて、 Transformer の self-attention layer を Graph Neural Network を用いることで、与えられた自然言語内の entity やその関連情報の理解を改善する手法を提案した。 decode 時に copy mechanism を使用して entity を含んだ論理形式を生成するモデルを作成、3つの構文解析タスクで pre-training なしで SoTA に匹敵、更に BERT と組み合わせることで多くの既存手法を上回るスコアとなった。

Transformer に GNN を組み合わせた例は初? 構文解析タスクで、 Entity とその relation を GNN を用いてシンプルに組み合わせた手法を提案した。