- …
- …
#360
summarized by : Kodai Nakashima
どんな論文か？
対照学習は大きなバッチサイズや膨大な学習エポックなどの重い計算設定に依存していることが多い．本研究では，シンプルで効率的かつ競争力のある対照学習手法を確立することを目的としている．具体的には，InfoNCE損失には顕著なnegative-positive-coupling（NPC）効果があることを理論的・実証的に示し，NPC効果を除去することで学習効率を大幅に改善した．
新規性
広く用いられているInfoNCE損失が持つ問題を理論的・実証的に示した．またその問題を改善することで効率的な対照学習を実現した．
結果
バッチサイズ256，エポック数200でImageNet-1kのTop1 accuracyが68.2%を達成し，ベースラインのSimCLRを上回った．また，提案手法とNNCLR（SoTA対照学習手法）を組み合わせることでバッチサイズ512，エポック数400のでImageNet-1kのTop1 accuracyが72.3%となり，対照学習におけるSoTAを達成．
その他（なぜ通ったか？等）
- …
- …