画像説明文生成などのVision and Language系の研究はデータセットの作成コストが高く、データセットの規模が小さい場合がある。ここで、languageの大規模事前学習のモデルをIm画像説明文生成タスクで活用することを提案。具体的に、新たなSelf-resurrecing activationを提案し、既存の他のTransformer手法より良い転移性能を示した。