#201
summarized by : Naoya Chiba
Non-Local Spatial Propagation Network for Depth Completion

どんな論文か?

RGB画像とスパースな深度情報から密な深度を復元する.局所的には不連続な領域での誤った復元を避けるため,非局所での近傍関係を推定して伝播させることで全体の深度を推定する.ResNetによって一度深度・近傍関係・信頼度を推定し,近傍関係と信頼度を利用して深度の復元を反復的に解く.
placeholder

新規性

信頼度を考慮しつつ非局所な近傍関係を捉えるため,注目点ごとに非局所な近傍点を推定し畳み込む.このとき学習を安定させるため重みを正規化する(Affinity LearningにおけるAffinity Normalization)が,ここに学習可能かつ信頼性を考慮した手法を提案した.

結果

NYU Depth V2とKITTI Depth Completionデータセットで学習・評価.既存手法と比較してSoTAを達成しており,復元された深度をみると信頼度を陽に推定した効果が現れている.また,近傍領域が適切に選択されていること,提案するAffinity Normalizationが良好なスコアを達成していることを確認した.

その他(なぜ通ったか?等)

https://github.com/zzangjinsun/NLSPN_ECCV20