#430
summarized by : Ho Ching Chiu
PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models

どんな論文か?

自然画像manifoldの中からdownsampleしたら元のLR画像になるような画像(に対応したz')をself-superviseで探す手法。 高(n)次元ガウシアン分布をn-1次元のユニフォーム分布と仮定しpriorを設け、自然画像manifoldに対応したzの空間Lとする。 空間Lの中で当該z'を探すことで、自然画像であることと、LR画像に対応したSRであること両方当てはまるようになる。
placeholder

新規性

ground truthに合わせて教師ありで訓練するでなく、逆にLR画像に合わせる方向でzを探すのが斬新かと。

結果

人間評価mean-opinion-score (MOS)でFSTGANよりよい。Perceptual quality (Naturalness Image Quality Evaluator)で高スコア。高倍数(64x)でリアルな画像生成に成功。 どんな訓練済み生成モデルに乗せることもできるという。

その他(なぜ通ったか?等)

倍数が小さい(2xとか)や元の画像のサイズが大きい場合、natural image manifoldの中から元画像にdownscaleするような画像を探すのが難しいのではないだろうか