- …
- …
#582
summarized by : Shoma Iwai
どんな論文か？
学習済みStyleGANを利用し，高倍率(8~64倍)の超解像を実現．エンコーダ，GAN，デコーダで構成される．エンコーダは入力画像からスタイルコードとマルチスケールの特徴量を出力する．これらを使い，GANによって画像の大枠を生成する．最後にデコーダによってエンコーダとGANの出力特徴量をマージし，超解像した画像を出力する．学習済みGANの高い表現力を活用しつつ，入力画像に近い超解像が可能．
新規性
- 最大64倍の非常に高倍率な超解像が可能
- 既存手法のように潜在変数の最適化が必要なく，1回のフォワードパスで実行可能
- 既存手法は潜在変数のみを利用していたが，提案手法ではマルチスケールの特徴も使うことで入力画像の特徴を出力により反映させることができる
結果
- FFHQ,LSUNなどのデータセットで実験．ほとんどのデータセットについて，PSNRやLPIPSでSOTAを達成
- 顔認識モデルを使い，超解像後の顔画像のidentityが保たれていることを確認
- 既存の学習済みGANを使用した手法と異なり，構図が異なる入力画像にも対応が可能．例えば横向きの顔画像を入力してもうまく超解像できる
- 画像のレタッチにも応用が可能．
その他（なぜ通ったか？等）
github: https://github.com/ckkelvinchan/GLEAN
project page: https://www.mmlab-ntu.com/project/glean/
- …
- …