#95
summarized by : take
Rethinking Minimal Sufficient Representation in Contrastive Learning

どんな論文か?

対照学習で獲得される、十分かつ最小限の表現は下流タスクには不十分と課題提起。入力と表現の相互情報を増加させる正則化(画像再構成、損失関数)を追加、下流タスクに必要な表現も学習。
placeholder

新規性

対照学習(contrastive learning)に対して、正則化項(画像再構成や損失関数)を追加するのは初。

結果

転移学習タスクで精度向上。物体検出タスクとインスタンスセグメンテーションタスクで精度向上。

その他(なぜ通ったか?等)

パラメータλを振った実験により、追加される共有情報は適度がよいことを示している。 https://arxiv.org/abs/2203.07004 https://github.com/Haoqing-Wang/InfoCL