#153
summarized by : Shoma Iwai
Watch Your Up-Convolution: CNN Based Generative Deep Neural Networks Are Failing to Reproduce Spectral Distributions

どんな論文か?

画像生成モデルで使われるアップサンプリング方法について考察した論文。どの種類のGANであってもtransposed-convを使うと高周波成分が大きくなることを示し、それを利用したdeepfakeの検出手法や、余分な高周波成分を抑えるspectral regularizationを提案した。
placeholder

新規性

画像生成で用いられるアップサンプリング手法について、周波数スペクトルの観点から考察。アップサンプリングの方法・カーネルサイズ、拡大後に入れるconv層の数など、幅広い要素について比較した点。新しいロスやdeepfakeの検出手法を提案した点

結果

transposed-convの後に5×5以上のconv層を3つ入れることで過剰な高周波成分を抑えられることがわかった。画像の周波数スペクトルを特徴量として使うdeepfake検出はCelebA、Faces-HQで100%の検出率を達成。DCGANにspectral regularizationを導入することで余分な高周波成分が抑えることができ、FIDが改善した。

その他(なぜ通ったか?等)

アップサンプリングについて、様々な条件で徹底的に調べている。