いわゆる従来のIntrinsics分解問題はShadingとReflectanceに分解していたが、これはまずShadingの中にも時間的に変化する部分とそうでない部分があって分解できるよね、という考えから。Reflectanceは入力画像からShadingを引いて得る。独立してNetworkで算出しないのは、高周波の再現性が難しいから。

定性的、また定量的な再合成結果(MSE)でベースラインの手法と比較して、性能向上することを確認。動画の結果がわかりやすい。https://factorize-a-city.github.io/

上記の分離手法の新規性の他に、GSV画像は静止したカメラで撮影したものではないので、各スタック画像は完全に同じ位置にあるわけではないのでスタック内の画像を最適にアライメントする2Dのワーピングを適用。その際に推定したReflectance画像を用いることで光量等に左右されず位置合わせ誤差を最適化できるとのこと。