#72
summarized by : Teppei Kurita
Bringing Old Photos Back to Life

どんな論文か?

損傷の激しい古い写真を復元する。写真の劣化モデルは様々な要因があり複雑であるため、教師あり学習での対応が困難。そこで古い写真と「綺麗な写真およびそれを劣化させた写真」の3データ群についてそれぞれVAEで潜在空間を学習し、その潜在空間間での変換を更に学習させた。
placeholder

新規性

綺麗な写真yとそれを劣化させた写真xはペアになっているので教師あり学習をさせやすい。一方対応のない古い写真rから直接yへの写像を直接学習するのは難しい。なのでいったん潜在空間に写像を行い、同じような見た目のxとrの潜在空間を同じような領域にアラインさせたのが新規性。

結果

従来手法と比較し様々な定量指標(PSNR、SSIM、 LPIPS、FID)で評価し、全てで高水準の評価。また22のユーザに評価させたところ、64.86%以上で一番優れている結果であると評価された。

その他(なぜ通ったか?等)

結果のキャッチーさもあるが、写真復元に限らず、真値が手に入らないようなドメイン間のギャップに苦しむ様々なタスクに応用できるような汎用性が評価されたと考えられる。