#50
summarized by : fnakamura
Image Based Virtual Try-On Network From Unpaired Data

どんな論文か?

Outfit-VITON と呼ばれる画像ベースの仮想的な試着のための手法を提案、様々な参照画像中の衣服を組み合わせて、クエリ画像の人物の試着・着せ替え画像を生成する。1) ペアになった訓練画像や 3D データではなく2次元画像のみを用いるためデータ収集のコストが比較的小さい。また、2) 複数の衣服を1つに組み合わせた試着画像の生成ができるだけでなく、試着する衣服をユーザが選択することができる。
placeholder

新規性

上記2点と refinement のステップにより、テクスチャ・ロゴ・刺繍といった詳細な衣服の要素を高精度で生成可能である点。クエリ画像中の身体形状と参照画像中の選択された衣服の形状特徴マップを合わせた segmentation map を推定、それに参照画像から推定された外観特徴マップを合わせて写真様の試着画像を生成し、最後にオンライン最適化ステップによって外観を refinement する。

結果

Amazon カタログから収集した様々な衣類とポーズの男女のデータセットで評価、FID と IS による定量的なスコアと、参加者による A/B テストでの質的比較におけるスコアともに、既存手法より好成績であった。特に、オンライン最適化ステップの refinement により、訓練データにない形状やテクスチャに対して適応可能であることが定性的に示され、またスコアも改善した。

その他(なぜ通ったか?等)