因果を学習させる注意機構（アテンション）を提案した点。 他のサンプルを強制的に参加させて因果関係のある介入を模倣。

既存の資格言語モデルLXMERTなどにCATTを組み込むとより重いモデルUNITERを超える性能となった。

https://github.com/yangxuntu/lxmertcatt 因果分析を導入したところが目新しい。 今後因果関係を把握したDeepLearningが増えていくことになるかなと思います。