- …
- …
#578
summarized by : Shoma Iwai
どんな論文か？
一対多の出力が可能なimage-inpainting手法を提案．自己回帰モデルによって画像の潜在変数を予測する．この潜在変数は出力画像の大まかな構成を表している．また，潜在変数は量子化されており，テスト時に複数種類の潜在変数をサンプリングすることで多様な出力を生成できる．最後に鮮鋭化するためのGeneratorを使い，最終的な画像を出力する．タイトルにあるVQ-VAEは学習時の補助として使われる．
新規性
- 階層的なVQ-VAEを利用した一対多のiamge-inpaintingを提案
- 自己回帰モデルによるサンプリングにより，多様かつもっともらしい画像を出力できる
- 細かいテクスチャを補完するためにStructural Attentionを提案
- 品質と多様性の両方において既存手法を上回った
結果
- CelebA-HQ,Places2,ImageNetで評価
- PSNR,SSIM,IS,DIF等の指標で既存手法を上回った
- 定性評価でも，既存手法よりも自然な画像を復元できていることを確認した
その他（なぜ通ったか？等）
github: https://github.com/USTC-JialunPeng/Diverse-Structure-Inpainting
- …
- …