#396
summarized by : 志田遥飛
Directional Self-Supervised Learning for Heavy Image Augmentations

どんな論文か?

教師なし視覚表現学習のためのあたらしい方向性自己教師あり学習パラダイムを提案.提案手法(DSSL)は従来のSSL手法が抱える「Hard Agumentation(RandAugment,JigSaW)の適用時に性能が下がる」という問題点を解決した.またImageNetとCIFAR10を使った検証で,高い有効性と汎用性を示した.
placeholder

新規性

従来手法では活用できていなかった,Hard Augmentationしたデータから得られた表現を活用できるようにしたこと.従来の「類似性を最大化するためにすべての拡張ビューを均等にペアリングする」という手法は,Hard Augmentationによって悪影響を受けやすく,導入した場合,モデルの性能が下がり最悪モデルが崩壊することもあった.

結果

様々なSSL手法に対してHard Augmentationの導入を可能にし,精度を上げることができることを確認した.実験ではImage Net,CIFAR10データを用いて,様々なSSL手法に対するDSSLの有効性を検証した.

その他(なぜ通ったか?等)

【添付した画像について】 DSSLを導入したものと,従来手法との比較実験. 【Github URL】 https://github.com/Yif-Yang/DSSL