#89
summarized by : Teppei Kurita
Unselfie: Translating Selfies to Neutral-pose Portraits in the Wild

どんな論文か?

自撮り写真の不自然なポーズを自然なポーズに変換する。学習ペアが存在しないため自己教師学習を用いる。
placeholder

新規性

問題が複雑なため、ポーズ推定、テクスチャマッピング、合成の3段階のタスクに分解、全てでDensePoseを使用。まずノンパラメトリックな最近傍ポーズ推定モジュールを用いてポーズの選択をする。これは複数の自然なポーズ候補からユーザが好きなものを選択することもできる。その後に入力画像をCNNでマッピングして粗い人体をマッピングして、最終的に背景等とマッチした自然な合成を更にCNNで行う。

結果

Frechet Inception Distance(FID)、Kernel Inception Distance(KID)による定量評価、および定性評価により、従来手法と比較して性能向上していることを確認。

その他(なぜ通ったか?等)

結果がキャッチーかつ実用的。普通に写真アプリの機能として人気が出そう。