我々は、画像とテキストの意味的関係に共同でより焦点を当てるためにアライメントガイド付きマスキングを設計します。 この目的のために、異なるスケールのパッチで自己教師付きVL事前学習のための5つの新しいタスク、すなわち、回転、ジグソー、カモフラージュ、グレーからカラー、およびブランクからカラーを実行します。

テキスト検索（R@1: 4.03% absolute improvement）、画像検索（R@1: 7.13% abs imv.）、カテゴリ認識などの4つのダウンストリームタスクにおいて、大差で最先端の結果を達成しています。

http://dpfan.net/Kaleido-BERT ファッションに焦点をあてて、ECに実用的に使用できそう