#701
summarized by : Yusuke Saito
Deep RGB-D Saliency Detection With Depth-Sensitive Attention and Automatic Multi-Modal Fusion

どんな論文か?

RGB-D 顕著性物体認識 (salient object detection, SOD)は、RGBと深度の2つのモダリティを対象とした分類や回帰の問題として表される.本論文では,顕著物体の深さ方向の幾何学的優先度を利用した,深さに敏感なRGB特徴のモデリング方式を提案する.
placeholder

新規性

- 奥行きの事前知識により,背景を排除し,異なる領域でRGB特徴量の抽出を行うために,深度感応型注意モジュール(DSAM)を提案する. - RGB-D SODのマルチモーダルおよびマルチスケール特徴融合問題(RGBと深度)に取り組むためにNAS(neural architecture search)アルゴリズムを利用する。

結果

- 定量的な比較では、7つの広く使用されているRGB-Dデータセットで既存手法と比較、ほとんどの評価指標でSOTAを実現。 - 定性的な比較では、前景と背景のコントラストが低い画像、散らかった邪魔なオブジェクト、奥行きがぼやけた画像や微細な構造物においても、顕著なオブジェクトをセグメント化できていることが確認できた。

その他(なぜ通ったか?等)

- RGB-D 顕著性物体認識において、カラーと深度のモーダルを考慮して両方の特徴を用いるためにNASアルゴリズムを導入し、SOTAを実現した点。 - また、深度の度合いによって顕著性の優先度をつけることができる点