- …
- …
#197
summarized by : Haruhi Shida
どんな論文か？
自己教師付き学習の大きな目標の一つは、ラベル付けされていない無限のデータ源から継続的に学習できるシステムを構築することである。本研究では，「堅牢で継続学習が可能な自己教師学習手法(SSL)を構築すること」を目標として，「目標の実現のために研究が必要な３つの課題」と潜在的な解決手法を新たに提案する．
新規性
既存のSSLベンチマークや研究は、IIDサンプルを生成するためにランダムにサンプリングできるデータセットに依存しており，「ラベル付けされていない無限のデータ源から継続的に学習できるシステムを構築する」という目標に適していない．。本研究では、データセット駆動型SSLから脱却し、継続的な自己教師あり学習問題に対する既存手法の有効性を調査した．
結果
本研究の実験で，現在の手法を連続SSLに直接適用した結果以下のことがわかった．
1) 必要な計算量とデータ量の両方において非効率であること、
2) ストリーミングソースにおける時間相関（非IIDデータ）のために劣った表現になる
3) 非定常データ分布を持つソースで学習すると破局的に忘れる兆候を示す
その他（なぜ通ったか？等）
- …
- …