#254
summarized by : Fumiharu Suzuki
RegionCL: Exploring Contrastive Region Pairs for Self-Supervised Representation Learning

どんな論文か?

自己教師あり対照学習で主要な役割を果たすクロップのaugmentationの、残りの領域を用いるRegionCLを提案。他の画像からクロップした画像を一部に貼り付けた際の出力を対照学習の損失計算に追加。元の画像の出力特徴量から貼り付け部分は離し、残りの部分は近づける。この機構はMoCo、SimSiam、DenseCLなど対照学習の機構に組込み可能で、分類、検出、セグメンテーションの精度向上を達成。
placeholder

新規性

特に検出やセグメンテーション等の密なタスクへの転移に向け、画像の領域ごとの対照学習は先行研究でも行われてきたが、クロップした残りの部分を活用する手法は本論文が初めてである。また、クロップした分離画像ではなく貼り付け後の画像を使用することで、画像の全体と領域の両方のレベルの特徴を学習可能である。さらに、RegionCLは既存の手法に大きな変更なく取り込みが可能である。

結果

ImageNetに対する分類、COCOに対する検出、CityScapesに対するインスタンス/セマンティックセグメンテーションタスクに対し、RegionCLを取り込んだ場合はMoCo、DenseCL、SimSiamのどれも精度が数パーセント向上した。

その他(なぜ通ったか?等)

github: https://github.com/Annbless/RegionCL