セマンティックセグメンテーションの出力結果を外挿し、その結果をインスタンス単位(Panoptic)のラベルのマップに変換してから特徴マップ経由で画像を生成するネットワーク構造を提案した。生成した画像に対しては、画像の全体を判別する識別器と、パッチ単位で判別する識別器の2種類を使用している。

セマンティックセグメンテーション部分にはPSPNetを使用し、Cityscapesデータセット及びADE20Kデータセットのbedroom画像で学習させて評価を行い、従来手法を上回る結果。

オブジェクトを意識した手法として説得力あるネットワーク構造を提案し、生成品質も高いため通ったと考えられる。プロジェクトページ( https://semie-iccv.github.io/ )が公開されている。