#14
summarized by : Shion Honda
LOHO: Latent Optimization of Hairstyles via Orthogonalization

どんな論文か?

StyleGAN2のlatent optimizationを使った髪型変換の手法の提案。髪型変換は、3枚の顔画像A、B、Cから、Aの顔と背景、Bの髪型、Cの髪色を持つ新しい画像を合成するというタスク。提案手法は、元画像と参照画像の顔や髪領域のLPIPSが大きくなるように、StyleGAN2の潜在変数をオンラインで最適化する。生成をStyleGAN2に頼るので見た目がとても自然。
placeholder

新規性

従来のGANベースの髪型変換手法(MichiGAN)は髪や背景の領域マスクを入力として、SPADEブロックで変換後の画像を生成していたが、入力の2枚の画像間で髪領域の位置がずれていると著しく不自然な画像を生成していた。 これに対して、提案手法(LOHO)は生成をStyleGAN2に頼るので見た目がとても自然。また、髪の位置のずれを吸収するために、領域マスクの膨張収縮処理を入れている。

結果

従来手法と比較して、入力画像の顔、背景、髪型、髪色を適切に採用しながらも、見た目の自然さを大幅に改善した。FIDでSOTA。

その他(なぜ通ったか?等)

MichiGANの問題点を異なるアプローチ(潜在変数をオンラインで最適化する)で解決している。推論に時間がかかるのには注意。