#101
summarized by : Hiroki Okawa
Single-Shot Hyperspectral-Depth Imaging With Learned Diffractive Optics

どんな論文か?

光源距離や波長によって変化するPSF(Point Spread Function)の性質を利用した、小型単眼単画像式HS-D(Hyperspectral-Depth)画像撮影手法の開発が本論文の主旨である。入射光の特性を特定のPSFに変換するDOE(Diffractive Optics Element)を設計し、そのPSF像をCNNで処理することで深度情報とスペクトル情報を同時に復元する。
placeholder

新規性

スペクトル情報と深度情報を同時に取得するには撮影コストが膨大になるという欠点があった。本論文は、小型の機材により単画像の撮影のみで行うためにDOEを利用している。ここで、DOEとネットワークは互いに影響を及ぼすため同時に最適化(学習)する必要がある。本論文では微分可能シミュレータを用いてこれを行い、データセットを作成するためのベンチトップ型試作機を作成した。

結果

スペクトル、深度それぞれのDOEベース手法のSOTAと比較し、どちらでも同等ないし優れることを示した。

その他(なぜ通ったか?等)

DOEとCNNを組み合わせ、それら同時に最適化するために微分可能シミュレーターを作成しており、道筋の確かさが結果に表れている。また、従来の一眼レフカメラにDOEを追加するだけで製作できる点も評価が高くなったと考えられる。