#40
summarized by : Makoto Sasaki
MODE: Multi-View Omnidirectional Depth Estimation with 360° Cameras

どんな論文か?

4つの360°カメラ組のステレオマッチングによる高精度な全方位奥行き推定学習アルゴリズムを提案。また、既存のデータセットに屋外シーンの物が無かったため合成画像による屋外シーンデータセットも提案、学習評価に利用している。また、提案データセットにはレンズが汚染(泥付着や水滴など)されているバージョンの物も含む。
placeholder

新規性

カッシーニ投影したパノラマ画像ペアを利用することで、2視点間のエピポーラ線を線形(水平線上)に単純化しcost volumeを作成。これにより高精度な視差マップの学習/推定を実現してる。 また、convolutionの際も球面を意識したサンプリングを行うことでパノラマ画像由来の歪みに対応している。

結果

既存の全方位深度推定と比較して、従来の屋内合成画像データセットにおいても、新たに提案した屋内データセットの「Deep360」(通常版/レンズの汚染あり版)においてもstate-of-the-artな性能をマークしている。

その他(なぜ通ったか?等)

視差推定の一度平行視点の透視投影画像(=部分視野)のペアにしている手法が多いが、提案手法はカッシーニ投影を用いることでパノラマ画像全体から直接作成している点に新規性がある。 github : https://github.com/nju-ee/MODE-2022 youtube : https://www.youtube.com/watch?v=Fw-KR35UWgQ