- …
- …
#140
summarized by : 角田良太朗
どんな論文か？
image-to-image変換のタスクを画素レベルで連続的にコントロールする研究は未開拓であると指摘。しかし連続変化をラベル付したデータセットは存在しないため、これをmodulation-levelを画素毎に追加入力したconditionalModelをGANで学習させる。
新規性
学習時は入力するmodulation-levelは単調性獲得のため全画素一定とし、InstanceNormでmodulationが正規化される問題に対してLeakyReLUを入れて回避。そしてロスはdiscriminatorがmodulationの度合いに応じて高いスコアを出すようContrastiveLossを模した設計にする。
結果
Summer->Winter変換およびCat->Dog変換のタスクで既存手法と比較し、定量的に優れた結果。定性的にも補完が滑らかに遷移する。
またlow-levelタスクとしてlightning/noise生成のタスクにおいても他手法を上回る結果。
その他（なぜ通ったか？等）
従来のimage-to-imageのタスクはセマンティックな変換ばかりであったが、本研究はlightingやnoisingのような画素マイタスクを局所的に実行可能であり有用性は高そう。
https://github.com/lukun199/MonoPix
- …
- …