画像の表現を少ないデータから学習するため、比較的容易に入手できる画像のキャプションを利用することを試みた。 また表現学習の proxy task として、一部がマスクされたキャプションを画像・文章の両方から推測する ICMLM を提案した。