高解像度画像をencoderでdownsamplingして低解像度画像に落とす所は特段の工夫なし。これをupscalie兼decodeする際に中間特徴量からStyleGANのstyle vectorを生成する。ナイーブなdecoderから出てくる特徴テンソルとStyleGANから出てくる特徴テンソルをconcatしながらdecodeして最終出力を得る。StyleGANの重みは常に固定。

CelebA-HQを使った学習で、GAN-inversionおよびInvertible-Image-Restorationのそれぞれ単独による手法のSOTAと比較して定性定量評価により優位性を実証。特に圧縮前画像のdetailがよく復元されている。またStyleGANをCat-datasetおよびLSUN-Church-datasetで学習したものに取り替えることで猫や教会の画像に対しても適用可。

モデル設計や学習部分に関しては特段の工夫は見られない。GANのpriorとInvertible-Image-Restorationを組み合わせるというアイデアの一点勝ちのように見える。 https://github.com/cszzx/GRAIN