#25
summarized by : 飯田啄巳
Exploring Cross-Image Pixel Contrast for Semantic Segmentation

どんな論文か?

画像をまたいだ教師ありContrastive Learningをピクセル単位で行う論文。これにより、局所特徴だけではなく、リッチなグローバル特徴を得ることができる。DeepLabV3やOCRなどの主要なセグメンテーションモデルに適用して、様々なベンチマーク(CityScapes、PASCAL-Contextなど)で性能を改善した。
placeholder

新規性

画像をまたがった教師(セグメンテーションのGT)ありのCLを行い、グローバルなセマンティクスに基づいた特徴空間の獲得を行っている。 損失関数は、SupConと類似した構成になっているが、負例の用意はMoCoのようなメモリバンクのキューを使っている。それだけでなく、より広い画像のセマンティクスを捉えるために、Region Memory Bankを提案し、各ラベルの代表特徴量を保持して利用可能にした。

結果

様々なベンチマークで性能改善を行っているが、例えばCityScapesでは、モデルサイズを変更せずとも DeepLabV3: +0.9, HRNet-W48: +0.9, OCR: +0.8 の精度向上をしている。 定性結果を見ても、ノイジーな部分が安定化している。

その他(なぜ通ったか?等)