#467
summarized by : Teppei Kurita
Enhanced Blind Face Restoration With Multi-Exemplar Images and Adaptive Spatial Feature Fusion

どんな論文か?

ガイド画像を使い低品質な顔画像を綺麗にする。同一人物の高品質な顔画像のうち最もガイド画像として適切な画像を選択するのがキモ。
placeholder

新規性

通常は顔ポーズの違いを吸収するためにアライメントを取る必要があるがガイド画像として似たポーズが選択されるのでワープ用NNが不要になり、より適切なフュージョンを提案したのが新規性。ガイド画像はランドマークを抽出して重みづきアフィン距離に基づいて選択する。特徴空間内のガイド画像とのアライメント(空間や照明)はMLSとAdaINで行う。

結果

定量的(PSNR/SSIM/LPIPS)、定性的に評価し既存手法より改善することを確認。

その他(なぜ通ったか?等)

ふわっとしたところもある結構散らかりそうな問題設定だが綺麗にまとめて性能も出している。