- …
- …
#25
summarized by : 飯田啄巳
どんな論文か?
画像をまたいだ教師ありContrastive Learningをピクセル単位で行う論文。これにより、局所特徴だけではなく、リッチなグローバル特徴を得ることができる。DeepLabV3やOCRなどの主要なセグメンテーションモデルに適用して、様々なベンチマーク(CityScapes、PASCAL-Contextなど)で性能を改善した。
新規性
画像をまたがった教師(セグメンテーションのGT)ありのCLを行い、グローバルなセマンティクスに基づいた特徴空間の獲得を行っている。
損失関数は、SupConと類似した構成になっているが、負例の用意はMoCoのようなメモリバンクのキューを使っている。それだけでなく、より広い画像のセマンティクスを捉えるために、Region Memory Bankを提案し、各ラベルの代表特徴量を保持して利用可能にした。
結果
様々なベンチマークで性能改善を行っているが、例えばCityScapesでは、モデルサイズを変更せずとも
DeepLabV3: +0.9, HRNet-W48: +0.9, OCR: +0.8
の精度向上をしている。
定性結果を見ても、ノイジーな部分が安定化している。
その他(なぜ通ったか?等)
- …
- …