従来の multi-modal (vision, text) をやっているモデルは，attention を使って重要な情報にハイライトをし合っている． 2 つの情報をマッチングするのは IR でよくやられることで，そこでは，ハイライトではなくマッチング．でもそれはあまり調査されていない． そこで，IR に着想を得た，画像内のオブジェクトとテキスト内の単語の関連を直接使って表現を学習するモデル，cross-modality relevance (CMR)，を提案．