- …
- …
#602
summarized by : 角田良太朗
どんな論文か？
バースト撮影からの超解像、エンハンスメント、デノイズの３タスクに汎用的に使えるモデル構造の提案。従来手法はバースト画像に対してlate fusionを行うことで自然にmisalignmentの問題が解消されることを期待していたが、本論文では特徴抽出段階でalignすることを意識したモデル設計になっている。
新規性
deformable convとglobal context attentionを用いた念入りな特徴抽出でノイズ削減とalignmentを暗黙的に要請。その特徴量たちをconcatしてconvを通すことによる情報交換、そして敢えてpixel shuffleを使わない特殊なupsamplingモジュールを設計。
結果
上記３タスクでSOTA性能を達成。また各提案モジュールの有効性をablationで実証。
その他（なぜ通ったか？等）
モデル以外での工夫点はなさそう。ロスは最終出力でL1ロスをかけているのみなので、提案モジュールが本当に意図通りの働きをしているか分からず非常にヒューリスティックな印象を受ける。ただpracticioner側としてはモデルもそこまで重くなく使いやすいかもしれない。
https://github.com/akshaydudhane16/BIPNet
- …
- …