#334
summarized by : 志田遥飛
A Study on the Distribution of Social Biases in Self-Supervised Learning Visual Models

どんな論文か?

本研究では11種類の自己教師あり学習手法使ってImageNetを学習したResNet50をそれぞれ比較して,各種法のバイアスの取り込みやすさ,バイアスの強さを調査した.また,バイアスと精度がトレード・オフの関係にあることを示し下流タスクへの転移学習の際に精度だけでなく「取り込んだバイアスの数」「バイアスの強さ」も評価基準に入れることを提案している.
placeholder

新規性

自己教師あり学習手法(幾何学的,クラスタリングベース,対照的)の中で,対照的学習手法が最も多くのバイアスを検出することを示した点.

結果

11種類のSSLモデルで事前学習したアーキテクチャ(ResNet-50)を比較して,以下のことがわかった.対照学習モデルがデータに含まれるバイアスのある関連付けを獲得しやすいということ.バイアスと精度はトレードオフの関係にあること.(層ごとに分析した結果,バイアスの弱い層の埋め込みで得られる精度とバイアスの強い層の埋め込みを用いて達成した精度に遠く及ばなかったため.)

その他(なぜ通ったか?等)

【実験で使用されたコード】 https://github.com/vpulab/SB-SSL. 【なぜ通ったか?】 近年アノテーションなしで教師あり学習手法に匹敵する精度を出して注目を集めているSSL手法がデータセットによるバイアスを受けるということを示したから? 【添付した画像】 各SSL手法の各層における「取り込んだバイアスの数」「バイアスの強さ」を示して,教師あり手法と比較している図.