#353
summarized by : 加藤義道
IntereStyle: Encoding an Interest Region for Robust StyleGAN Inversion

どんな論文か?

GAN inversionによる再構成や編集によって歪みが生じる課題を解決するための研究. 本研究では, 背景領域などの非注目領域が, 編集する領域特徴に与える影響を軽減するために, 非注目領域の情報を繰り返しフィルタリングする手法を提案. 実験により, 提案手法が既存手法より歪みが少なく知覚品質の高い画像を生成でき, 画像編集やスタイルミキシングに頑健であることを実証.
placeholder

新規性

注目領域のマスクを用いた学習と, 非注目領域の情報のフィルタリングを組み合わせることで, 非注目領域の特徴量が注目領域の生成結果を歪めることを防ぐ点.

結果

FFHQデータセットを使用. エンコーダの比較モデルとしてIDGI, pSp, e4e, Restyleを使用. 元画像と再構成画像のID類似度が最も高く, マイクや手などの障害物が顔に重なった画像に対してもより歪みの少ない画像生成が可能であることを示した.

その他(なぜ通ったか?等)

コード:https://github.com/SeungJunnn/interestyle