- …
- …
#473
summarized by : KazumaAasano
どんな論文か？
本論文ではgeometry spaces(物体の位置など）とappearance spaces(全体的な整合性：色や明るさなど)を考慮して，前景となるオブジェクト（メガネや帽子，文字など）と背景をいい感じに合成するGAN，SF-GANを提案する．SF-GANに(1)テキストを画像内にいい感じに埋め込む，(2)メガネと帽子を人の顔にいい感じに合成する2つのタスクを解かせてSOTAを獲得した．
新規性
コントリビューションは以下の通りである．
1.geometryとappearance spacesを考慮したend2endのアーキテクチャを提案
2.image2image手法で失われるディテール情報をguidedフィルタで解決する手法を利用
3.実験で従来手法では無視していたような要素も提案手法では考慮していることを示し，SOTAを獲得
結果
7つのデータセットを利用して，2つのタスクを解かせる実験を行った．
実験にはST-GANやCycleGANなどと提案手法を比較し，アマゾンメカニカルタークなどで評価したところSOTAを獲得
その他（なぜ通ったか？等）
ジオメトリのみに対しリアルかフェイクかを判断するために，色合いなどは比べる対象と同じになるようにするG2の画像を通すことで，まずはappearance spacesを考慮しない識別器D2を学習させる．その後に色合いなどを調整するG1に通すことで，最終的に写実的な画像ができる．またG1と同じ部分にGuided Filterを利用しImage2Imageで失われやすいディティールを残すことができる．
- …
- …