- …
- …
#107
summarized by : Shida Haruhi
どんな論文か？
連続的にデータが示される学習で有効性が壊滅的に下がる自己教師付き損失関数に表現の現在の状態を過去の状態に対応付ける予測ネットワークを追加．これにより(1)学習品質の向上(2)最先端の自己教師あり学習での目標と互換性があり(3)ハイパーパラメーターのチューニングがいらない表現学習の枠組みを考えられるようになる，ということを紹介している．
新規性
データが連続的に示される学習にSおいて有効性が壊滅に低くなるSSLで，学習した表現を過去に対応付ける予測ネットワークを導入することで問題を解消した点．
結果
様々なCL設定において，6つの一般的な自己教師付きモデルに対して自己教師付きファインチューニング，教師ありファインチューニング有効性を導入し本論文で示されている手法を比較することで有効性を検証．度のモデル，度のデータにおいても教師ありファインチューニング，自己教師付きファインチューニングより高い性能を獲得している．
その他（なぜ通ったか？等）
実装コードURL
Code:github.com/DonkeyShot21/cassle.
- …
- …