従来のVLモデルは画像に対して物体検出を行い、その領域に対して画像特徴と言語特徴を結合するように学習していた。しかしながらこの手法では (i)検出した物体と周りの領域との関係を学習できない (ii)画像特徴が事前に設定した物体検出モデルのクラスに制限される (iii)物体検出モデルがアノテーションの質に左右されるという問題を抱えている。そこで画像全体を入力とするVL事前学習パイプラインを提案した。