画像と言語の事前学習表現を利用して識別器を学習するMultimodality-guided Visual Pre-training（MVP）を提案。学習の方法自体は添付画像のように画像・言語の学習済みモデルの画像エンコーダと画像の欠損復元をする学習を統合した形になっている。