#488
summarized by : shirouchi satoshi
TransGaGa: Geometry-Aware Unsupervised Image-To-Image Translation

どんな論文か?

教師なし画像変換を目的とした研究。ドメイン間で構造が大きく変わると二つのドメインの首、体、足なとの構成要素を理解する必要があり、上手くいかない。本研究は条件付きVAEを使って、画像の外観空間と構造表現の幾何空間で別々に変換する。ドメイン間の構造の違いは構造表現の幾何空間によって調整できる。
placeholder

新規性

構造表現の幾何空間の変換は画像のヒートマップのランドマーク座標を使い、画像の外観は画像をそのままエンコードした外観空間の潜在表現を使う。それぞれで変換を行い、変換したものをデコーダに通して画像を出力する。ランドーマーク座標は条件付きVAEの条件となる。これにより、構造と外観を別々の空間で学習できる。

結果

既存の画像変換の手法と比較すると、アーティファクトのなくきれいで、同じポーズの画像が出力できている。画像変換用のデータセット(動物全体や猫、犬の顔の画像)においてFID、Diversityで既存手法と比較して高い精度を達成。

その他(なぜ通ったか?等)