#803
summarized by : mokura
DeepLiDAR: Deep Surface Normal Guided Depth Prediction for Outdoor Scene From Sparse LiDAR Data and Single Color Image

どんな論文か?

一枚のRGB画像とLiDARによるスパースな深度マップからE2Eで画像の深度推定を行うモデルを提案した.モデルは二つのパスをもち,一方では色情報を元にした深度マップを,一方は面法線情報を元にした深度マップを出力する.二つの出力をAttentionによる重みで足し合わせ最終的な結果を得る.
placeholder

新規性

一枚のRGB画像とLiDARによるスパースな深度マップのペアからE2Eで画像の深度推定を行うモデルを提案.RGB画像or面法線とスパース深度マップを入力とするEncoder-Decoder形式のモジュール(deep completion unit)を考案.不明瞭な部分を考慮するため確信度マップを学習しマスクとして利用.

結果

KITTIデータセット上で既存手法のSparse-to-DenseやNConv-CNNなどとの比較を行い,4つの評価指標のうち2つで大きく勝ることを確認した.また,ベンチマーク外のデータセットで,他の情報を利用ような手法と比較を行なったところ,全ての評価指標で大きく優ることを確認した.

その他(なぜ通ったか?等)