正規化のアフィン変換とAttentionの再スケーリング部は同じ役割を果たすことに注目して統合したのがキモ。単一のアフィン変換を学習するのではなく、複数のアフィン変換を学習し、それらの重みづけ和を最終的に利用する。

代表的なCNNアーキテクチャで一貫した性能向上を確認。具体的にはImageNet-1000でトップ1精度が0.5→2.7%、MS-COCOにおいてバインディングボックスとマスクAPが1.8→2.2%。

シンプルだけどインパクトのある問題設定と、アプローチのスマートさ。