#736
summarized by : Naoya Chiba
FFB6D: A Full Flow Bidirectional Fusion Network for 6D Pose Estimation

どんな論文か?

RGB-D画像から6DoFポーズ推定を行うネットワークの提案.DenseFusionのようなネットワークに2DのCNNと点群処理のネットワークが相互に特徴量を交換するFusionモジュールを導入し,2Dと3Dの特徴量を利用して精緻な位置・姿勢推定を実現した.取得した特徴量はセマンティックセグメンテーションとキーポイント検出を学習し,このキーポイントから最小二乗法で姿勢推定する.
placeholder

新規性

三次元点群と二次元画像の間で特徴量を交換するためのFusionモジュールの提案が新規.相互に近傍領域を推定して,その領域内の特徴量をSharedMLPとMax-poolingで集約して畳み込んで元の特徴量と合わせて出力する.また位置合わせのためのキーポイントとして画像上でSIFTで特徴点を検出後FPSでサブサンプリングした点を選択し,これを推定するように学習する.

結果

YCB-Video,LINEMOD,OcclusionLineMODデータセットで学習・評価し高い姿勢推定性能とオクルージョンへのロバスト性を実現した.

その他(なぜ通ったか?等)