#303
summarized by : yasud
Reference-Based Sketch Image Colorization Using Augmented-Self Reference and Dense Semantic Correspondence

どんな論文か?

スケッチの画像に対して、参照画像を与えてそれをもとに着色を行うタスク
placeholder

新規性

attentionをもとにした特徴伝達のためのモジュールとSC-PSNRという新たな定量的評価のための指標を提案している

結果

Tag2Pix, Yumi Datasetなどを含む複数のデータで定量(提案指標SC-PSNR)、定性的に分析。 特に定性分析では圧倒的なスコアでSoTA(論文figure8)。 SC-PSNRは、参照ベースの着色画像には正解がないため通常のPSNRが使えない。よって特定のサイズのパッチのSemantically Corresponding(SC)を計算する。

その他(なぜ通ったか?等)

参照を学習時にわざとdistoritionをかけるなどの工夫がなされており、それによって実際に論文中の図では非常に綺麗な着色ができている