#187
summarized by : 朝岡忠
Extract Free Dense Labels from CLIP

どんな論文か?

セマンティックセグメンテーションにおけるCLIPの本質的な可能性を検証.
placeholder

新規性

CLIPを応用したMaskCLIPとMaskCLIP+を提案.MaskCLIPは,学習やアノテーションを必要とせずに新規概念(例えば、バットマンやジョーカー)のセグメンテーションに直接利用可能.MaskCLIP+は,MaskCLIPの出力を擬似ラベルとして使用し,DeepLabv2などのより高度なセグメンテーションネットワークを自己学習することによって.セグメンテーション結果をさらに向上.

結果

MaskCLIPは,mIoU指標による定量的な性能と定性的な結果の両方において,妥当な予測結果を獲得.MaskCLIP+は,ゼロショット・セマンティックセグメンテーションにおいて従来のSOTAを大きく上回る性能を発揮.また,MaskCLIP+は完全教師ありセマンティックセグメンテーションにおいて従来のSOTAと同程度の結果.

その他(なぜ通ったか?等)

https://www.mmlab-ntu.com/project/maskclip/