#113
summarized by : Teppei Kurita
Low Light Video Enhancement using Synthetic Data Produced with an Intermediate Domain Mapping

どんな論文か?

低照度動画のRAWからRGBの変換は学習ペア(短時間・長時間露光)の生成が大変であり、ネット上の一般的な動画を収集しCycleGAN等で短露光画像にマッピングするのもドメインギャップが大きい。そこで一旦長時間露光にマッピングした後に短時間露光に変換をするように学習させた。
placeholder

新規性

前者のマッピング(ネット画像→長時間露光)は教師なしで、後者のマッピング(長時間露光→短時間露光)は教師ありである。いったん綺麗な画像に中間ドメインマッピングをすることで、ドメインギャップがある程度緩和される。

結果

実動画データのみで学習したモデルと比較して、より高い画質(色の改善、アーチファクトの低減)と時間的なゆらぎが抑えられている。

その他(なぜ通ったか?等)

最近はやりの中間ドメイン経由のドメインギャップ解消を、積極的に取り入れて、実用的でキャッチーな結果を出している。