自己注意機構は、共有されたスカラー重みではなく、異なるチャネルに適応するベクトル注意を計算したところ。また、畳み込みの厳密な一般化を構成するパッチワイズ注意演算子のファミリーを探索するところ。

まず、純粋にペアワイズ自己注視に基づいたネットワークは、畳み込みベースラインよりも優れていることがわかった。我々の第2の主要な発見は、パッチワイズ自己注視モデルが畳み込みベースラインを大幅に上回ることである。最後に、我々の実験では、ベクトル自己注視が特に強力であり、これまで主流であったスカラー（ドットプロダクト）注視を大幅に上回ることが示された。