自己教師あり学習をImagenetやiNat21，Places365などの大規模なデータセットで定量的に評価した．新たな評価プロトコルを作ることで，従来の評価法では気づかなかった自己教師あり学習の課題を発見した．

1. 500k画像を超えて事前学習データを用意しても結果はほとんど改善しない． 2. 異なるデータセットを組み合わせる簡単な方法では，大きな改善は見られない． 3. 画像の解像度が対照学習にとって重要である．また画像の破損によって自己教師付き表現が使えないほど劣化する場合もあれば、ほとんど影響を受けない場合もある． 4. 教師ありの事前学習は、細かい分類を行う際は自己教師あり学習に比べて優れる．