- …
- …
#399
summarized by : Shoma Iwai
どんな論文か？
画像に物体を違和感なく合成することを目的とする．この論文では，前景(合成する物体)のスタイルが背景(画像)のスタイルに合うように変換を行うRAINという手法を提案する．具体的な処理はAdaINに近い．背景の特徴マップの統計量(平均・分散)を使い，前景の特徴マップをアフィン変換する．モデルはU-Net構造で，デコーダ側でRAINが使われている．多くのデータセットでSOTAを達成した．
新規性
- 物体合成を背景→前景のスタイル変換として捉え，明示的にスタイルを揃える仕組みを導入
- 新しくRegion-aware Instance Normalization (RAIN)を提案
- 定量的・定性的に既存手法を上回りSOTAを達成
結果
- Ground Truthが存在するデータセットではPSNRによる評価を行い，4/5のデータセットでSOTAを達成
- Ablation Studyによって，このタスクでは提案手法RAINが他の正規化手法より優れていることを確認
- 合成する物体のサイズに依らず高い性能を示した
- User Studyでも既存手法より高い評価を得た
その他（なぜ通ったか？等）
github: https://github.com/junleen/RainNet
- …
- …