#154
summarized by : Teppei Kurita
Dynamic Low-light Imaging with Quanta Image Sensors

どんな論文か?

超低照度撮影において光子をカウントできるQuantaイメージセンサ(QIS)はリードノイズが少ないのが強みだがショットノイズで性能限界がありフレーム加算しノイズ除去をしても動きブレの課題がある。そこでこれらを解決しQISで超低照度撮影を実現する方法を提案。
placeholder

新規性

QISを利用し知識蒸留をベースとし動きとノイズ除去を別々の教師から学習したことが新規性。1画素あたり1光子未満の超低照度を撮影する際、CMOSイメージセンサは光子をカウントできないので特にリードノイズにおいて性能限界がある。QISはSPADと似ているがavalancheでの信号増幅がいらないのでコンパクト化ができ、暗電流、リードノイズ、量子効率、画素ピッチがSPADと比較し大幅に改善できる。

結果

QISカメラでの実際に撮影したデータにおいて従来手法と比較して定量(PSNR vs Motion)・定性的な優位性を確認。

その他(なぜ通ったか?等)

通常のイメージセンサでは不可能な画を取得できるというキャッチーさ。また、提案アプローチは、特にQIS特有のモデルや知見を用いてはいなので通常のCISにも適用可能である。ただし、光子数が極端に低い場合(具体的には画素あたり1光子未満)はQISが必要になってくるとのこと。