#4
summarized by : Kazuma_Asano
Heavy Rain Image Restoration: Integrating Physics Model and Conditional Adversarial Learning

どんな論文か?

タイトル通り豪雨の写真から雨を消してクリアな画像を生成する研究. 同じようなタスクでは画像ベースと動画ベースがあり,本研究は画像ベースである. この研究のコントリビューションは以下の通りである. 1.雨のレイヤーや透過率のマッピングを分離するネットワークと雨を除いた画像を生成するネットワーク,2つのネットワークを利用した手法の提案 2.雨の性質を解析 3.豪雨のシーンエフェクトを合成する方法の提案
placeholder

新規性

画像ベースの手法では,バイラテラルフィルタなど利用する手法があるが,これらは開発時に使用した雨の画像以上の豪雨には対応できない.ディープベースのディジヘイジング(霧除去)は大気のノイズをさらに増やし豪雨の除去には使えない. これらを考慮するネットワークを提案している.

結果

生成した画像とGTをPSNR,SSIMで評価し,従来手法よりSOTA.またオブジェクト認識問題で,豪雨の生データを入れると間違いまくっていたが,提案手法で豪雨の除去後の画像を利用すると認識精度が向上した.

その他(なぜ通ったか?等)

豪雨を除去というタスクが自動運転などの視界が悪くなる状況においてすごく有効であることが大きく,またその有効性を評価するためにディテクションを利用したことで実際に精度をあげて証明したことが大きな要因かと考えられる.