セマンティックセグメンテーションの既存手法を，深度推定も同時に行えるよう改良した。さらに，latent codeの初期化方法(ゼロで初期化した)やloss functionの設計を工夫することで，視点の変化に頑健なモデルを構築している。

SceneNet RGB-D datasetなどに対して実験を行い，セグメンテーションのpixel accuracy, class accuracy, mIoUが既存手法よりも改善したほか，複数の視点に対してセグメンテーションやインスタンス認識の頑健性が確保されていることが示された。