#341
summarized by : kiyo
DUNIT: Detection-Based Unsupervised Image-to-Image Translation

どんな論文か?

画像のドメイン変換をする際にpre-trainedの物体検出モデルを使ってオブジェクトを検出しておき、オブジェクトごとの特徴を抽出して、画像全体から得られた特徴マップにマージしてからGeneratorに与える。また、ドメイン変換前後でオブジェクトが同じ位置で検出されるようにlossを加えている。
placeholder

新規性

変換前後でオブジェクト位置が変わらないように制約をかけるInstance-consistency lossを提案

結果

Sunny⇔Night、Sunny⇔Rainy、Sunny⇔Cloudyに対して平均でCycleGAN、UNIT、MUNIT、DRIT、INITにISとCISで優越。

その他(なぜ通ったか?等)

一応著者たちは公式実装が公開されていないからと言ってはいるが、一番コンセプトが近いINITとqualitativeな比較をしていないので印象が悪い。