#127
summarized by : Teppei Kurita
From Shadow Segmentation to Shadow Removal

どんな論文か?

画像から影を除去するパッチベースの手法。必要な教師信号は影マスクのみ。影の物理的生成モデルを考慮して線形パラメータとマスクをNNで回帰させる。
placeholder

新規性

パラメータとマスクの値幅に制約を入れることで探索空間を適度に制限して教師なし学習の難易度を下げたことが新規性。単純にペアなし問題としてCycleGAN等で教師なしマッピングをすると2つの画像セット内の十分な統計的類似度がないと破綻することが多い。このモデルではwをスケーリング係数と仮定して値を[0,10]に制約し、更にマスクの推定は境界部分以外は値を監視して、境界部分は監視せずNNの出力に任せる。

結果

従来手法と比較して、定量(RMSE)・定性的に性能向上を確認。

その他(なぜ通ったか?等)

Ablation studyでは、今回の物理ベースモデルを使用しても、探索空間の制約なしでは影の除去は適切に学習できなかったことがわかっている。探索空間を「どのように」「どれだけ」適切に制限できるのかということが、特にペアなしの教師なしマッピングにおいては重要であるということ。