- …
- …
#490
summarized by : yusuke saito
どんな論文か？
RGB-D画像を対象とした複雑な背景から最も目立つ領域を検出するSaliency検出(顕著性検出)において、RGBとDepthの二つのモダリティにおける分布ギャップや情報損失の問題があった。RGBとDepthの相補的な情報を考慮して、二つのSelf-Attentionを利用してグローバルコンテキストをさらに伝播させ融合させる手法を提案する。
新規性
- 非局所的モデルを用いて、RGB, Depth両方の視点から非局所的なattentionを生成し、それらを融合させることで、長距離コンテキストを伝播可能にした手法であること
- RGB, Depthの両モダリティにてそれぞれでattentionを学習させるのではなく、特徴を融合させる手法を提案
結果
- 提案する手法をアブレーション分析によって評価。提案するS2MAモジュールの有効性を、特にNLPR，RGBD135，LFSDのデータセットにて確認．
- 学習したattention mapを可視化することで定性的な有効性を評価。各モダリティそれぞれの学習したattention mapと提案手法を比較し、提案手法では問い合わせ位置の関連領域をとりだせることがわかる．
その他（なぜ通ったか？等）
非局所的(NL)モデルではattentionと伝播される特徴は同じ特徴マップに基づくことに着目し、RGBとDepthのモデリティを融合させることに成功した点
- …
- …