ガラスの外側に鏡を配置して真値を得るデータセットの生成方法に新規性がある。提案手法としては、まず勾配を考慮した反射成分分離NNで映り込みだけを分離して、その後に反射強調NNで映り込みを視認性の高い画像へと変換している。真値を取得する際に位置ズレがかなり大きくでることがあるので、それを吸収するようなロス関数を提案しているのもポイント。加えて自然画像らしくなるように敵対的に学習。

独自データセットにおいて、既存手法やベースラインの基本的手法(CycleGAN等)と比較し、定量評価指標(LPIPS/SSIM/PSNR)での改善を確認。

データセットを新しいアプローチで生成しており、ロスも既存のアイデアも一部使っているが、課題に対して適切に新規提案交えて対応している。面白いが、悪用されるとプライバシー面で少し怖いところもある。大まかな括りとしての問題設定は昔からあったが、軸足を違った方にもっていくだけでアプローチとしては従来と違ったものになってくるんだな、と思った。