- …
- …
#300
summarized by : Tong Zheng
どんな論文か?
画像のStyle変換。ある画像(写真風)を別の画像っぽいに(絵っぽい)に変換する。先行研究は山ほどあるけど、本論文はさらに語彙の指令(写真に関する説明)を加えて画像を指定されたStyleに変換する。
新規性
語彙の指令(写真に関する説明)から画像をどうな風に変換すればいいかを学習は困難で、contrastive learningを使って語彙の指令と目標画像を同じ潜在変数に射影。すると語彙の指令だけから画像をどうな風に変換すればいいかを推論できる。
結果
語彙の指令と画像を入力してから変換画像を生成できる。SSIMは若干落としたが、PerceptとFADではSOTA。
その他(なぜ通ったか?等)
言葉を与えただけでも、画像を思うようにStyle変換できる。
- …
- …