#182
summarized by : Hiroki Okawa
Semantic-Embedded Unsupervised Spectral Reconstruction From Single RGB Images in the Wild

どんな論文か?

本論文はRGB画像からHS(Hyperspectral)画像を復元する手法を提案している。特に、学習時にHS画像とRGB画像のペアを使用しないことを大きな課題として取り組んでいる。この課題を解決するため、カメラの応答関数推定を軸にしたEnd-to-endの学習フレームワークを構築した。また、アンビギュイティ解決のため、RGB画像のセマンティクスな情報を正則化に用いている。
placeholder

新規性

教師データを使用しないEnd-to-Endなフレームワークではあるものの、カメラの応答関数推定問題ととらえることで解決しやすくしている。これにより、実世界RGB画像一枚からHS画像を復元するという複雑な問題を解決した。さらに、L1勾配クリッピングがboost adversarial learningに有効であることを示した。

結果

教師有手法と比べても高い精度を達成しているが、スペクトル形状が単純なもので評価しており、複雑なスペクトルを持つオブジェクトに対する精度評価は行っていない。

その他(なぜ通ったか?等)

所感だが、カメラの応答関数のみを求め、スペクトル基底の係数を求める問題ととらえても同様の精度が得られる可能性がある。 https://github.com/zbzhzhy/Unsupervised-Spectral-Reconstruction