#523
summarized by : Shoma Iwai
Learning Oracle Attention for High-Fidelity Face Completion

どんな論文か?

顔画像のinpainting手法。顔の離れた要素同士のバランスを保つため、Dual spatial attention (DSA)を提案。また、顔の各部分がリアルに生成できるように、各部分専用のdiscriminatorを使用する(両目・鼻・口の4つ)。
placeholder

新規性

「生成部分と参照部分」、「生成部分のみ」の2種類のattentionを計算するDSAを提案。DSAではattention mapを正しく計算させるために、正解画像を入力して得られるoracle attention mapを使った新しい損失関数を導入する。さらに、顔の各部分・画像全体・生成部分のみ・生成部分のdetailの計7個のdiscriminatorを使う。

結果

CelebA-HQ、Flickr-Faces- HQで実験。L1、PSNR、SSIM、LPIPS全てにおいて既存手法を上回った。画像の見た目においても、他手法よりも優れている。ablation studyでは、DSA、multi-discriminator、supervision on attentionの効果を確認した。

その他(なぜ通ったか?等)