タスクと手法が新規。セマンティックマスクから、2-stream のSPADE を用いて色と disparity を生成。色と disparity からMPI 表現 (各深度における色画像とアルファ画像)を予測。MPI 表現のカメラの相対姿勢と合わせて新しい視点の画像をレンダリング。訓練時は、色・disparity の合成と MPI 表現の予測を行う 2 つのモジュールは、別々に訓練を行う。

ADE20K・ADE20K-outdoor・NYU のデータセットを使用。 U-Net・SPADE・SPADE+MPI・SPADE+3D Ken Burns のベースラインモデルと比較。定量評価では、提案手法が他手法より、中心・視点を変えた合成画像の FID が低く、視点を変えても FID が上がりにくかった。定性評価・ ablation study ・user study も実施し有効性を確認。