- …
- …
#224
summarized by : pshiko
どんな論文か？
contrastive learningを用いた教師なし表現学習において, 「negative sampleをqueueに貯めて学習に使用する」「keyのencoderの急激なパラメータの変化を防ぐ」などの工夫により学習に用いるnegative sampleを効率的に大規模化する手法を提案. 多くのdown-stream taskで教師あり事前学習を超える性能を確認.
新規性
contrastive learningをdynamicなdictionary生成を行うdictionary lookup taskという側面から捉え, sample数とkey特徴のconsistencyが重要である事を明らかにした点. また性能評価手法を工夫することで, downstream taskのhyper parameterを比較対象のsupervisedと同じ値を扱えるようにしている
結果
PASCAL VOCやCOCOを用いた各種タスクにおいて, 通常のcontrastive learningやmemory bank方式を用いた手法の性能を超えるだけでなく, supervisedでの事前学習に肉薄あるいは超える性能を確認. この性能向上はアーキテクチャやパラメータ数にもよらず一貫して確認された.
その他（なぜ通ったか？等）
シンプルかつ汎用的なunsupervisedな事前学習として使える手法であり, 性能比較においてもsupervisedな手法と条件を揃える工夫があり今後のself-supervisedの研究における比較手法の典型として活かせそう.
- …
- …