画像の中に含まれるテキスト情報が重要な場面がある（看板上の文字）。既存のCross-modal retrieval手法では画像とRetrievalのセンテンスの関係のみ考える。ここで、画像、画像中のテキスト、センテンスの関係全て考慮し学習する手法を提案。具体的に、提案手法がFullTransformer構造となり、直接画像パッチと画像中のテキスト、Retrievalのセンテンス間の関係性を学習。