従来手法はDeepでSVBRDF再構成→Renderingか直接画像変換してRelightingしていたが、SVBRDF再構成と画像変換Relightingを共同学習(Skipで接続)するようにしたのがキモ。SVBRDF再構成では元の画像の細部が保存されにくく、画像変換Relightingでは鏡面反射の再現などが難しくなる。提案手法は共同学習させることでいい所どりをした結果を得ることができる。

SVBRDFの各パラメータや法線、Depth、Relighting結果などの再構成精度を評価。従来手法と比較し大幅な性能改善を確認。カスケード型で結果を洗練させているが、1回のフォワードパスで完結するので、計算量は多くない。

従来手法を2パターンに明示的に分離し、それぞれの課題を述べて、それを解決するために良いとこどりをするようにする設計にしました、という王道パターン。