#217
summarized by : Teppei Kurita
Learning Camera-Aware Noise Models

どんな論文か?

イメージセンサのノイズモデルは従来、統計的なモデルを採用していたが、実世界のノイズは遥かに複雑な挙動をしておりモデルだけで記述するのが困難。そこで実世界のノイズからデータドリブンでノイズモデルを学習し、カメラ毎に異なる特性のノイズを生成できることを示した。
placeholder

新規性

提案するアーキテクチャは、ノイズ生成ネットワークとカメラ符号化ネットワークから構成。クリーンな画像とポアソンガウスノイズモデルからサンプリングされた初期合成ノイズを入力として生成器のEncoderに入れ、カメラ特性を表す潜在ベクトルを中間層で結合して、Decoderで合成ノイズを生成する。

結果

ノイズのもっともらしさを定量的(KL divergence)、定性的に比較しベンチマーク手法と比較して大幅な性能向上。また提案手法を利用して学習したノイズリダクション処理でも定量的(PSNR/SSIM)な性能向上を確認。実世界データだけを使ったものと同等の性能。

その他(なぜ通ったか?等)

イメージセンサのノイズモデルを本当に完璧に再現できたらノイズを無限にエミュレートできるので、ノイズ除去の性能が上がるのは理にかなっている。ただ現状のCMOSイメージセンサにおいてノイズモデルが実運用上の強烈なボトルネックかというと微妙な気もしている。Quantaイメージセンサ等、限界を追求している系で精密なノイズモデルエミュレーションが出来たら良い気がする。