#93
summarized by : Shuhei M Yoshida
Occlusion-Net: 2D/3D Occluded Keypoint Localization Using Graph Networks

どんな論文か?

2次元、および3次元のキーポイント検出の新手法。隠れたキーポイントの検出を可能にする。データセットには「隠れていない」キーポイントのみが正解付けされているが、学習時にはマルチビューのデータを利用することで、特定の画角からは隠れているキーポイントも検出可能にする。推論時はシングルビューの入力で良い。
placeholder

新規性

(1) 学習済みのMask RCNNが出力するキーポイントをエンコーダ・デコーダ型のGNNに入力して、隠れたなキーポイントを含む完全なキーポイントを生成するモデル (2) マルチビューのデータを利用して隠れたキーポイントに対する教師あり学習を実現するtrifocal tensor loss

結果

データセット CarFusion において、Mask RCNNによるAUC=0.83を上回り、AUC=0.95を達成。さらに、30fpsを超える推論速度を達成。

その他(なぜ通ったか?等)