#449
summarized by : Atsuki Osanai
HCSC: Hierarchical Contrastive Selective Coding

どんな論文か?

クラスの階層性を考慮した対照学習(CL)手法の提案。既存のCLで採用されているNegativeサンプルの抽出方法は、各インスタンスのSemanticsが異なることが保証されない(類似のサンプルが選ばれ得る)という課題がある。本研究ではクラスのSemanticsを階層的に表現(添付図参照)することによって、CLのNegativeサンプルの抽出をより正確に行えるようになった。
placeholder

新規性

クラスの階層性を考慮し、各階層におけるSemantic Similarityを定式化。この指標を利用したサンプリング手法を提案し、先行研究よりも的確にNegativeサンプルを選択できるようにしている。また、階層構造については深さと幅を事前に与えるのみであり、実際の構造の獲得はデータドリブンのクラスタリングで行える点もスケーラビリティがある。

結果

semi-supervised learning on ImageNetで先行研究のCLを上回る精度を達成。階層性に注目することで、より効果的に特徴が獲得できたと主張している。また、Object Classification/DetectionのDownstream Tasksに対する転移学習においても、先行研究を上回る精度を達成している。

その他(なぜ通ったか?等)

https://github.com/hirl-team/HCSC