同じ画像の中の人と姿勢と似たような意味を持つ姿勢の人を生成する研究が新規。image translationも似ているが、ペア画像とターゲット画像は学習せず、ラベル付けしていない画像に対しても学習することができる。また、高画質であることや姿勢の転移だけでは実現できなかったスケールや視点、詳細なオクルージョンについても良い結果が得られた。

この研究ではターゲットとなる人間の特徴自体は大まかにしか捉えていないため、生成されたセマンティックマップに粗い部分もあるものの、従来の姿勢の転移手法とSoTAな姿勢生成を達成。また、ユーザーによる実験においても違和感の無い人の挿入に成功した。

画像に存在しない人を挿入するという新たな試みが興味深い。また、Facebook AI Researchチームによる研究のため、将来的にアプリとして一般に使えるようになる可能性が高い。