- …
- …
#469
summarized by : 志田遥飛
どんな論文か？
著者らは優れた自己教師あり表現学習アルゴリズムは，タスク固有の事前分布に特化するのではなく，自発的に局所表現を学習すべきであると主張し，新しい学習手法LEWELを提案．提案手法は特徴量の空間情報を適応的に集約する新しいアプローチで，既存手法が抱える「特定の下流タスクからの事前情報に依存し，他のタスクに一般化できないことがある．」という課題を解決．検証の結果，複数の下流タスクで有効性が検証された．
新規性
本論文では，新しい自己教師あり学習手法Leraning Where to Learn(LEWEL)を提案した点．LEWELは空間的な重み付けをした特徴量を集約することで，位置合わせされた埋め込みのスペクトルを得ることができる．「特定の下流タスクからの事前情報に依存し，他のタスクに一般化できないことがある．」「ランダムクロッピングオーグメントから悪影響を受ける】などの問題を改善した．
結果
MoCov2において1.6％/1.3％/0.5％/0.4%の改善．
BYOLにおいて1.3％/1.3％/0.7％/0.6%の改善
ImageNetでの線形/半教師付き分類、Pascal VOCでのセマンティックセグメンテーション、物体検出において、それぞれ6％の精度改善を実現した。
その他（なぜ通ったか？等）
【添付した画像】
提案手法LEWELのOver view
- …
- …