画像説明文生成の新たなTransformerベースの手法の提案。これまでにGrid 特徴がVQAにおいての有効性が検証され、Transformer構造も視覚言語タスクで普遍的に使われてきた。Grid 特徴ではすべてのGridに対して同質で扱って、空間情報が失われやすい。TransformerのDecoderは各単語を同様なレベル扱う傾向になり、実際単語の重要度が異なる．これらの問題の対策を行った。