- …
- …
#120
summarized by : 福原吉博 (Yoshihiro Fukuhara)
どんな論文か？
近年の教師なし表現学習手法の基本構造である Siamese networks についての研究. 学習時に全ての出力が同じ値に収束してしまう崩壊問題の回避には勾配停止と予測モデルが重要な役割を果たしていることを実験的に確認し, 既存の SoTA 手法と同等の精度を達成するシンプルなモデルである SimSiam を提案.
新規性
既存の教師なし表現学習のSoTA手法（SimCLR, SwAV, BYOL）で使用されている, ネガティブサンプル, 大きなバッチサイズ, momentum encoders などは実は不可欠な要素ではなく, 勾配停止と予測モデルが重要な役割を果たしていることを発見.
結果
ベースラインとして提案している SimSiam（勾配停止と予測モデルのみを加えた Siamese networks）は, ImageNet の分類や物体検出において既存の SoTA と同等の結果を達成. 一方で, SimSiam から勾配停止か予測モデルを取り除くと精度がほぼゼロになることも確認.
その他（なぜ通ったか？等）
- …
- …