RGB画像は構造因子と外観因子から構成され前者はDepthマップとの相関性が非常に強いという仮定。参照する画像・Depthのペアから外観因子を抽出して、色づけ先のDepthから構造因子を抽出して乗算するように自己教師学習を行う。学習を上手く進めるために外観因子入力をランダムフリップさせるのがキモ。

いくつかの画像変換ベースライン(CycleGAN/Pix2Pix/BicycleGAN)と比較し、定量的に大幅な性能改善。

問題設定が面白く、結果もキャッチー。ただ普通にIRセンサ使う方法との性能差が気になった。