#20
summarized by : Tong Zheng
VQFR: Blind Face Restoration with Vector-Quantized Dictionary and Parallel Decoder

どんな論文か?

ぼやける顔画像からsharpな顔画像を作る顔画像のRestoration。従来の顔画像のRestorationは高画質あるいは高信憑性片方を追求しているので、生成画像の画質が悪い、あるいは入力画像っぽくない。本研究は高画質(画像のtextureが豊富)かつ高信憑性(入力画像と比べて構造的に変わっていない)の顔画像Restorationができた。
placeholder

新規性

Vector-Quantized Codebook: 学習済のVQVAEを使用することで高画質な画像を生成。VQVAEを使って入力画像をCodeに変更する。 Parallel Decoder: VQVAEのdecoderは一個のみが、本研究はa,b二個のdecoderを使用。aは高画質の画像を生成、bは高信憑性画像を生成。aの特徴をbに融合することで高画質+高信憑性な画像を生成できた。

結果

CelebA-Test, LFW-Test, CelebChild-Test, WebPhoto-Testで顔画像のRestorationのSOTA精度達成。定性結果もいい。

その他(なぜ通ったか?等)

VQ-VAEの一活用。https://github.com/TencentARC/VQFR/