- …
- …
#554
summarized by : Hiroki Abe
どんな論文か？
自己教師学習の新たなpretext taskとしてjigsaw clusteringを提案.
jigsaw clusteringでは1枚の画像を4枚のパッチに分け, バッチ内のランダムな4枚のパッチを組み合わせることで新たな画像を作成.
その画像をモデルの入力とし, 各パッチが属するクラスタと, 原点における各パッチの位置を予測する2つのタスクで事前学習を行う.
新規性
既存の事前学習ではデュアルバッチが高精度を達成しているが必要なリソースを大幅に増加させている.
jigsaw clusteringはシングルバッチのため学習コストを削減し、学習効率の効率性を示した.
結果
jigsaw clusteringで事前学習したモデルは線形分類において, CPC v2を2.6％上回ったがMoCo v2には劣っている.
fine-turnにおいては, CIFAR-10およびCIFAR-100において, ImageNetの教師あり事前学習モデルをそれぞれ0.9％、4.1％上回った.
また, 物体検出タスクにおいて, MoCo v2の半分の学習で0.4％上回った.
その他（なぜ通ったか？等）
https://github.com/dvlab-research/JigsawClustering
- …
- …