#347
summarized by : Teppei Kurita
CycleISP: Real Image Restoration via Improved Data Synthesis

どんな論文か?

従来のNNでのノイズ除去の多くは白色ガウスノイズを仮定しているが、実際の画像ノイズは途中のカメラ信号処理によって正規分布から歪められている。そこでsRGB⇔RAWを相互に変換可能なネットワークを学習しカメラパラメータ不要でRAW/sRGBの現実的なノイズデータを生成した。
placeholder

新規性

従来もRAW⇔sRGB変換技術はあったが、カメラパラメータやISP依存の部分があった。この手法では一切のカメラパラメータや事前知識を必要としないので汎用性が高い。sRGB/RAWのどちらのドメインでもノイズなし画像とノイズ画像のペアを任意の数で生成可能になる。

結果

ノイズ除去の性能向上が従来技術よりも向上するだけでなく、パラメータの数が従来比で1/5に。ネットワークにAttention(Channel, Spatial)機構を組み込むことで性能向上をすることをAblationで検証している。

その他(なぜ通ったか?等)

カメラパラメータが不要なので実用的であり、ネットワークも無駄に複雑な構造にせず、近年のAttention機構の成果を持ってきて可能な限り最小構成で性能を出そうとしているので印象が良い。