#350
summarized by : 角田良太朗
Semantic-Aware Fine-Grained Correspondence

どんな論文か?

既存のcorrespondence-learningはlow-levelな情報のみ見ておりsemanticな情報を学習できてないと指摘し、Mocoベースで最後のMLPを1x1convに取り替えたpixelwiseな対照学習を提案する。
placeholder

新規性

まず既存のcorrespondence学習で得られた事前学習モデルをバックボーンにセグメンテーションを学習させるとMocoに大きく劣ることを示すことで、帯域的な学習ができてないことを実証。その上で提案するpixelwiseの対照学習では、cropのaugmentationをかけた2画像の対応画素で同じ特徴量が出てくるようにロス設計する。

結果

従来のcontrastiveLossをこれに併用すると精度が悪化することを発見し、semantic&fine-grainedの2モデルをそれぞれのロスで学習させ、得られた特徴量をconcatして後段タスクに使う方法を提案し、labelPropagationタスクで精度向上を確認。

その他(なぜ通ったか?等)