#319
summarized by : Hiroaki Aizawa
MixNMatch: Multifactor Disentanglement and Encoding for Conditional Image Generation

どんな論文か?

MixNMatchと呼ぶ,背景,物体,ポーズ,形状,テクスチャの表現を2D画像からdisentanglementできるconditional GANを提案.これらのdisentangleされた表現からの生成はFineGANを利用する.
placeholder

新規性

この研究のポイントは,画像からこれらの要素のミックス可能なdisentangleされた表現を抽出するために,ALIやBiGANのようなinverse mappingを学習すること.ただし,これらの要素専用のDiscriminatorが必要.加えて,Eを学習するために,サンプリングされた画像を利用するなどの工夫あり.

結果

定量評価は,生成画像に対してIS/FID,学習された表現に対してはクラスタリングの性能,形状とテクスチャの保存についてはkeypointを利用して定量評価を行う.実際に,これらの表現をtransferした結果はインパクトが大きい.

その他(なぜ通ったか?等)