- …
- …
#535
summarized by : fnakamura
どんな論文か？
CNN の中間層 (特に深層) で得られる deep features から画像を再構成するというチャレンジングなタスクを GAN で達成、異なる深さの層の特徴マップによる異なるレベルの semantic information に基づいて再構成・生成する Semantic Generation Pyramid というフレームワークを提案した。異なる意味レベルに応じて生成を操作することができる。
新規性
各層の特徴量による低次から高次までの連続的な semantic information から生成する。学習済みの識別モデルと (逆さだが) 同様の構造持つ Semantic Pyramid Generator は、識別モデルの各層の特徴マップを、生成を制御するマスクを乗じて受け取る。学習には、敵対的損失や多様な生成のための損失に加えて、生成を識別モデルに戻した時の特徴量の再構成損失を取る。
結果
FID とユーザスタディにより生成結果を評価した。(期待される通り) 生成が深層からであるほど FID は高くなった。Amazon Mechanical Turk での Real/Fake ユーザスタディでも、深層からの生成であるほど実画像であると判定する確率は小さくなる傾向にあるが、浅い層からの生成は実画像と見分けがつかない生成の精度であると判定される結果となった。
その他（なぜ通ったか？等）
- …
- …