#443
summarized by : Taiki Sugiura
Exploring Patch-Wise Semantic Relation for Contrastive Learning in Image-to-Image Translation Tasks

どんな論文か?

多くの対照学習による画像変換手法は,画像内の多様な意味的関係を無視することが多いと主張.そこで,一つの画像の画像パッチ間の異質な意味関係に着目し,多様な意味関係を利用する非連成対照学習とともに,新しくSemantic Relation Consistency(SRC)を提案.加えて,Hard negative miningを利用し,さらなる性能向上を図った.
placeholder

新規性

各パッチを着目しても,多様な意味情報を持ち,性格な画像変換にはこのような意味情報に考慮し,保持することが必要であることを主張し,SRCという新たな正則化を提案.そして,Hard negative miningを利用した非連成infoNCE(hDCE)を提示した.

結果

シングルモーダル画像変換,マルチモーダル画像変換,I2IGANモデル圧縮タスクの三つを実験し,各タスクのベースライン手法と比較し,ほぼすべてにおいて優れた結果を示し,SOTAを発揮することが確認された.

その他(なぜ通ったか?等)